В Testplane добавлена селективность запуска тестов — возможность автоматически запускать только те тесты, для которых изменились файлы, от которых они зависят.

И Testplane, и Playwright — это решения для end-to-end тестирования, но они имеют разные подходы и возможности. В этой статье мы проведём детальное сравнение этих инструментов, чтобы помочь вам сделать правильный выбор.

Краткий обзор инструментов​

Testplane — это инструмент для автоматизации тестирования веб-приложений, разработанный командой Яндекса. Он активно используется как в крупных, так и в небольших проектах компании и поддерживает широкий спектр браузеров и устройств.

Playwright — инструмент от Microsoft, который быстро завоевал популярность благодаря своей простоте использования и современному подходу к автоматизации.

Ключевые различия​

Поддержка браузеров и мобильных устройств​

Одним из ключевых преимуществ Testplane является его универсальность в работе с десктопными браузерами и мобильными устройствами. В отличие от Playwright, который фокусируется на современных десктопных браузерах последних версий, Testplane предоставляет полноценную поддержку как старых, так и новых версий браузеров. Это важно для компаний, которые работают с пользователями, использующими устаревшие браузеры. Полное сравнение двух подходов можно посмотреть в таблице ниже:

Визуальное тестирование​

В области визуального (скриншотного) тестирования Testplane демонстрирует явное превосходство над Playwright. Под капотом инструмент использует собственную библиотеку looks-same для сравнения скриншотов, которая быстрее и точнее текущих конкурентов:

• Ожидание загрузки элементов перед скриншотом, чтобы исключить нестабильность в тесте;
• Отключение анимации на странице;
• Гибкая настройка чувствительности скриншотного тестирования — tolerance, anti-aliasing tolerance, игнорирование фиксированного количества пикселей;
• Используется 3 уровня сравнения для оптимизации скорости;
• Разнообразные виды визуализации различий между скриншотами для удобной отладки, в т.ч. и подсветка мелких диффов;
• Игнорирование элементов на скриншоте при необходимости.

Testplane предоставляет удобный интерфейс для массового принятия скриншотов, что ускоряет процесс обновления эталонных изображений. Также, если в проекте пользователя настроен Storybook, то Testplane предоставляет автоматическую генерацию скриншотных тестов, что позволяет быстро покрыть визуальными проверками все компоненты проекта без написания кода.

Playwright предлагает лишь базовую поддержку скриншотного тестирования с ограниченными возможностями и менее удобным интерфейсом для работы со скриншотами. Это делает его менее подходящим для проектов, где важно визуальное тестирование.

Отчет для работы с тестами​

Testplane имеет графический интерфейс, который не просто показывает результаты выполнения ваших тестов, но и предоставляет широкие возможности для работы с ними.

Этот отчет прекрасно подходит как для локальной работы, так и для использования в CI. Он предлагает единый интерфейс для выполнения различных задач:

• Запуск тестов непосредственно из UI;
• Отладка с помощью Time Travel (пошагового воспроизведения тестов);
• Анализ производительности тестов;
• Обновление эталонных изображений при скриншотном тестировании;
• Объединение нескольких отчетов в один;
• Повторное использование результатов из CI.

Особенно важно, что отчёт Testplane способен эффективно работать с тысячами тестов, не теряя производительности. А система плагинов позволяет кастомизировать отчёты под специфические потребности команды.

Со всеми возможностями отчета можно ознакомиться в разделе UI сайта https://testplane.io.

Взаимодействие с ИИ​

Testplane MCP — это инструмент, который позволяет ИИ-агентам погрузиться в контекст того, что происходит в браузере, выполнять действия и создавать или чинить тесты, основываясь на реальном состоянии страницы. С помощью Testplane MCP пользователи могут не только создавать рабочие и стабильные тесты, но и быстро исправлять уже существующие. Testplane MPC позволяет подключиться к браузеру в ходе выполнения вашего теста, чтобы отладить или изменить его. Это значительно сокращает время, затрачиваемое на исправление нестабильных тестов. Кроме того, Testplane MCP предоставляет возможность запускать браузер в режиме эмуляции мобильных устройств. Например, можно сказать "Открой страницу example.com с помощью Testplane MCP на iPhone 15" или указать явно какой User Agent нужно указать при создании браузерной сессии.

Расширяемость и интеграции​

Архитектура Testplane построена с учётом потребностей в кастомизации и интеграции. Богатая событийная модель предоставляет множество точек расширения, позволяя разработчикам внедрять собственную логику на любом этапе выполнения тестов. Это особенно важно для проектов, где требуется интеграция с внутренними системами мониторинга, отчётности и управления качеством. Также Testplane предоставляет JS API, которое позволяет создавать собственные раннеры, адаптированные под специфические потребности проекта.

Playwright, несмотря на свою популярность, предлагает меньше точек расширения и требует самостоятельной разработки большинства интеграций. Это увеличивает время на внедрение и поддержку инструмента в корпоративной среде.

Масштабирование и производительность​

Архитектура Testplane изначально проектировалась для работы с большими объёмами тестов, что обеспечивает стабильную работу даже при значительном росте тестового покрытия. Это особенно важно для долгосрочных проектов, где количество тестов постоянно увеличивается. Поддержка удалённого грида браузеров (например, BrowserStack, SauceLabs и т.д.) позволяет эффективно распределять выполнение тестов по множеству машин, обеспечивая быстрое выполнение даже очень больших тестовых наборов. Также Testplane позволяет масштабировать запуски за счет шардирования, запуская тесты на разных машинах. При этом, в результате пользователю будет предоставлен единый отчет с результатами пройденных тестов.

Playwright также имеет возможности для масштабирования в виде шардирования из коробки. Масштабирование за счет удаленного грида предоставляется только в виде платного сервиса Microsoft Playwright Testing.

Обновления и стабильность​

Testplane обеспечивает высокую стабильность благодаря продуманному подходу к управлению зависимостями. Обновления инструмента полностью отвязаны от обновлений браузеров, что позволяет командам контролировать процесс миграции и избегать неожиданных поломок в CI/CD пайплайнах. Использование стабильных версий браузеров минимизирует количество проблем с переснятием скриншотов, что особенно важно для проектов с большим количеством визуальных тестов. Такой подход обеспечивает предсказуемость поведения тестов и снижает затраты на поддержку инфраструктуры тестирования. Команды могут планировать обновления браузеров независимо от обновлений самого инструмента тестирования, что даёт больше гибкости в управлении техническим долгом.

Playwright же связывает обновления инструмента с обновлениями браузеров, что может приводить к неожиданным изменениям в поведении тестов. Это создаёт дополнительную нагрузку на команды разработки, которым приходится чаще пересматривать и обновлять скриншоты, особенно в проектах с активной разработкой интерфейса.

Рекомендации по выбору​

Выбирайте Playwright, если:​

✅ Достаточно тестирования только в самых последних десктопных браузерах
✅ Уверены, что не потребуется поддержка старых версий браузеров
✅ Не нужно визуальное тестирование

Выбирайте Testplane, если:​

✅ Важно визуальное тестирование с удобным отчётом
✅ В будущем потребуется масштабирование
✅ Важна кастомизация под специфические нужды
✅ Необходимо тестирование в широком спектре десктопных браузеров и мобильных устройств
✅ Требуется тестирование нативных приложений Android и iOS

Рады представить Testplane MCP — проект, который позволяет AI-агентам быть в контексте происходящего в браузере, совершать действия и генерировать тесты с учетом реального состояния страницы.

Представляем новый инструмент Testplane UI — Time Travel, теперь в стабильной версии! Расскажем о новой функциональности и что ещё появилось в Testplane UI за последнее время.

В testplane@8.27.0 добавлена поддержка WebDriver BiDi протокола (будущий единый стандарт для автоматизации браузеров).

В Testplane добавлена возможность автоматической загрузки браузеров и драйверов для последующего локального запуска.

Для Testplane реализовали расширение для VS Code, с помощью которого можно настраивать Testplane с нуля, запускать тесты и удобно работать с REPL режимом.

Теперь для автоматического визуального тестирования ваших компонентов достаточно иметь Storybook с вашими компонентами и плагин @testplane/storybook. Больше не нужно писать тесты.

В testplane в экспериментальном режиме поддержали компонентное тестирование и unit-тесты, выполняющиеся в браузере.

Представляем вашему вниманию... Testplane. Наш проект Hermione решил сменить имя — встречайте проверенный годами продукт в свежем образе!