Перейти к основному содержимому

Как получить отчет о прогоне тестов

Отчет testplane​

После завершения прогона всех тестов testplane пишет в консоль результат прогона в виде строки следующего вида:

Total: 1812 Passed: 1792 Failed: 0 Skipped: 20 Retries: 47

Где:

СтатусОписание
TotalОбщее количество тестов, которые testplane прочитала с файловой системы при запуске.
PassedЧисло тестов, которые успешно прошли.
FailedЧисло тестов, которые упали.
SkippedКоличество тестов, которые были пропущены (заскипаны) при запуске.
RetriesСуммарное количество ретраев тестов, которые произошли во время прогона.

Однако этой информации может быть недостаточно, поэтому вы можете добавить в свой проект плагин stat-reporter.

Отчет плагина stat-reporter​

Если вы добавите в свой проект плагин stat-reporter, то тогда после завершения прогона всех тестов вы получите в консоли более подробный отчет о результатах прогона. Например:

┌──────────────────────┬────────┬───────┬────────┬────────┬─────────┬─────────┬──────────┐
│ Browser              │ Status │ Tests │ Passed │ Failed │ Skipped │ Retries │ Duration │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ firefox              │ passed │ 25    │ 24     │ 0      │ 1       │ 0       │ 01:02    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-desktop       │ passed │ 466   │ 464    │ 0      │ 2       │ 4       │ 07:40    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ ipad                 │ passed │ 24    │ 23     │ 0      │ 1       │ 0       │ 01:27    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ iphone               │ passed │ 376   │ 372    │ 0      │ 4       │ 7       │ 07:12    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-phone         │ passed │ 427   │ 421    │ 0      │ 6       │ 14      │ 07:32    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ iphone-dark          │ passed │ 74    │ 72     │ 0      │ 2       │ 4       │ 02:18    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ searchapp-phone      │ passed │ 319   │ 317    │ 0      │ 2       │ 9       │ 10:00    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ safari13             │ passed │ 15    │ 13     │ 0      │ 2       │ 4       │ 02:42    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-desktop-1920  │ passed │ 3     │ 3      │ 0      │ 0       │ 0       │ 00:57    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ iphoneX              │ passed │ 3     │ 3      │ 0      │ 0       │ 0       │ 00:36    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-desktop-dark  │ passed │ 77    │ 77     │ 0      │ 0       │ 5       │ 01:33    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ yandex-browser-phone │ passed │ 1     │ 1      │ 0      │ 0       │ 0       │ 00:28    │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-grid-720      │ passed │ 2     │ 2      │ 0      │ 0       │ 0       │ 00:49    │
└──────────────────────┴────────┴───────┴────────┴────────┴─────────┴─────────┴──────────┘

В отличие от простого отчета testplane, в отчете плагина stat-reporter результаты прогонов разбиты по браузерам. Также выводятся максимальное время выполнения (Duration) в минутах и секундах и результат прогона тестов (Status) в каждом браузере.

Такой отчет позволяет лучше понять в каких браузерах возникли проблемы, а именно: не проходит больше всего тестов или время выполнения резко возросло.

Плагин stat-reporter также позволяет формировать отчеты в виде html- или json-файлов. См. подробности в описании плагина.

Однако по своим возможностям плагин stat-reporter значительно уступает плагину html-reporter, который предоставляет разработчику гораздо более продвинутые способы работы с тестами и результатами их прогона.

Отчет плагина html-reporter​

Добавьте в свой проект плагин html-reporter, чтобы получить графический html-отчет с результатами прогонов всех тестов. Также в полученном отчете вы сможете:

  • отфильтровать тесты по статусам завершения;
  • сгруппировать тесты по ошибкам или любому параметру из мета-информации теста;
  • посмотреть диффы в скриншотах 6 разными способами;
  • посмотреть отдельно все ретраи или ошибки в тестах.

html-reporter

Кроме того, html-reporter позволяет запускать testplane в специальном GUI-режиме. В этом режиме вы можете запускать и перезапускать тесты, переснимать скриншоты, использовать специальные режимы отладки и многое другое.

Ключевые слова​

  • stat-reporter
  • html-reporter
  • gui