Перейти к основному содержимому

AI-инструменты Testplane

Testplane предоставляет набор инструментов для интеграции с AI, которые помогают агентам писать, проверять, отлаживать и исправлять ваши тесты на Testplane.

Цель этих инструментов — превратить универсального coding-агента в эксперта по Testplane, который понимает, как обычно устроены проекты на Testplane, как нужно писать тесты и как разбирать падения.

Возможности​

  • Позволяют AI-агентам исследовать приложение и "видеть", что происходит, через экономные по токенам DOM-снимки
  • Генерируют новые тесты на основе фактического состояния приложения
  • Помогают агентам из коробки придерживаться лучших практик при написании тестов
  • Работают с аутентификацией без чтения секретов
  • Позволяют агентам разбирать падения по отчетам из CI
  • Дают агентам отлаживать тесты через REPL

Доступные инструменты​

Testplane Skill обучает AI-агентов работе с проектами на Testplane end-to-end и использованию @testplane/cli. В него включены лучшие практики и подробная документация, которую агенты могут использовать в работе.

Testplane CLI лежит в основе Testplane Skill и дает доступ к автоматизации браузера прямо из CLI.

Testplane MCP повторяет возможности @testplane/cli, но предлагает другой способ взаимодействия с браузером — через протокол MCP.

Какой инструмент выбрать?​

Если не уверены, выбирайте Testplane Skill. Он отлично подходит для большинства сценариев и в целом является лучшим вариантом: coding-агенты любят CLI, он экономно расходует токены и дает достаточно контекста про все, что связано с Testplane.

SkillCLIMCP
Как работает

LLM читает markdown-файл с инструкциями и обращается к @testplane/cli для автоматизации браузера

LLM запускает shell-команды для взаимодействия с браузеромLLM взаимодействует с браузером через MCP tool calls
Эффективность по токенамВысокая, progressive discoveryВысокая, короткие CLI-вызовы

Ниже, зависит от agent harness

Режим браузера по умолчаниюHeadlessHeadlessHeadful
Поддерживаемые сценарии

Сложные workflow + автоматизация браузера

Взаимодействие с браузером, разбор отчетовТо же, что и CLI

Сравнение с другими решениями​

В целом мы рекомендуем использовать Testplane AI toolkit при работе с проектами на Testplane, потому что он разработан именно для этого сценария и дает глубокие интеграции с экосистемой Testplane, позволяя агентам:

  • Читать код Testplane, который был выполнен в каждом вызове инструментов CLI/MCP Testplane, и копировать его при написании тестов
  • Анализировать отчеты Testplane (локальные и из CI) и исправлять упавшие тесты
  • Исследовать Time Travel snapshots, чтобы понять, что пошло не так, и адаптировать тесты по мере развития приложения
  • Отлаживать тесты через удобный для агентов REPL-дебаггер
  • Понимать возможности Testplane и типовые паттерны использования по краткому справочнику в Testplane Skill

Мы изучили и другие инструменты для агентной автоматизации браузера — ниже краткое сравнение наиболее заметных проектов, которое поможет сориентироваться в вариантах.

Встроенный браузер в Cursor, CC, Cline и т.д.​

Cursor's Browser и Cline's Browser Automation — это встроенные способы взаимодействия с браузером: они дают инструменты для навигации, снятия снимков страницы, различных действий и чтения логов консоли браузера.

У встроенного браузера Cursor есть удобная панель дизайна: она позволяет быстро менять дизайн приложения и указывать на конкретные элементы прямо во время написания промптов.

Однако у этих инструментов есть серьезные ограничения для тестирования веб-приложений:

  • У Cline вообще нет инструмента DOM snapshot — он опирается только на скриншоты
  • Инструмент snapshot в Cursor возвращает accessibility tree, где нет CSS-классов, почти всех HTML-атрибутов и плоская структура без иерархии DOM
  • Поддержка браузеров сильно ограничена: только Chrome, без mobile emulation и специальных возможностей
  • Нет безопасного способа работать с auth-данными

Playwright​

Playwright CLI — мощный и популярный инструмент автоматизации браузера. Среди заметных возможностей — анализ сетевых запросов и функции devtools.

Основные ограничения:

  • Нет анализа отчетов, Time Travel snapshot inspection или REPL-отладки
  • Ответы инструментов сфокусированы на коде Playwright, что может путать агентов в проектах на Testplane
  • Snapshot строится на accessibility tree, без CSS-классов, точной DOM-структуры и многих полезных HTML-атрибутов

Playwright CLI — популярный выбор, но ему не хватает ряда возможностей для продвинутых workflow и контекста, специфичного для Testplane.

Chrome DevTools MCP​

Chrome Devtools MCP, помимо обычных браузерных инструментов, дает нишевые возможности вроде снятия memory snapshots и управления browser extensions.

Для проектов на Testplane основные ограничения такие:

  • Он специфичен для Chrome
  • Snapshot строятся на accessibility tree, без CSS-классов и точной DOM-структуры
  • Нет интеграции с Testplane tooling, отчетами, Time Travel snapshots или REPL Testplane

В целом это глубокая низкоуровневая интеграция с возможностями Chrome devtools, но она не сфокусирована на тестировании веб-приложений и не интегрирована с инструментами Testplane.

Vercel's agent-browser​

Vercel agent-browser — универсальный инструмент автоматизации браузера с большим набором возможностей, включая анализ сети и профилирование.

Его сильная сторона — гибкость, но он не привязан к конкретному тест-раннеру или тестовому workflow.

Для Testplane это означает:

  • Он не сфокусирован именно на тестировании веб-приложений
  • Snapshot строятся на accessibility tree
  • Нет интеграции с Testplane tooling, отчетами, Time Travel snapshots или REPL Testplane

agent-browser может быть полезен для общей автоматизации браузера, но ему не хватает Testplane-специфичных интеграций, которые нужны агентам, чтобы эффективно писать, отлаживать и исправлять тесты.

Оставайтесь на связи​

Нашли баг, есть вопрос или идея? Дайте нам знать:

За новыми релизами можно следить здесь.

On this page