Как получить отчет о прогоне тестов
Отчет testplane
После завершения прогона всех тестов testplane пишет в консоль результат прогона в виде строки следующего вида:
Total: 1812 Passed: 1792 Failed: 0 Skipped: 20 Retries: 47
Где:
| Статус | Описание |
| Total | Общее количество тестов, которые testplane прочитала с файловой системы при запуске. |
| Passed | Число тестов, которые успешно прошли. |
| Failed | Число тестов, которые упали. |
| Skipped | Количество тестов, которые были пропущены (заскипаны) при запуске. |
| Retries | Суммарное количество ретраев тестов, которые произошли во время прогона. |
Однако этой информации может быть недостаточно, поэтому вы можете добавить в свой проект плагин stat-reporter.
Отчет плагина stat-reporter
Если вы добавите в свой проект плагин stat-reporter, то тогда после завершения прогона всех тестов вы получите в консоли более подробный отчет о результатах прогона. Например:
┌──────────────────────┬────────┬───────┬────────┬────────┬─────────┬─────────┬──────────┐
│ Browser │ Status │ Tests │ Passed │ Failed │ Skipped │ Retries │ Duration │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────── ──┤
│ firefox │ passed │ 25 │ 24 │ 0 │ 1 │ 0 │ 01:02 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-desktop │ passed │ 466 │ 464 │ 0 │ 2 │ 4 │ 07:40 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ ipad │ passed │ 24 │ 23 │ 0 │ 1 │ 0 │ 01:27 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ iphone │ passed │ 376 │ 372 │ 0 │ 4 │ 7 │ 07:12 │
├─────────────────── ───┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-phone │ passed │ 427 │ 421 │ 0 │ 6 │ 14 │ 07:32 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ iphone-dark │ passed │ 74 │ 72 │ 0 │ 2 │ 4 │ 02:18 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ searchapp-phone │ passed │ 319 │ 317 │ 0 │ 2 │ 9 │ 10:00 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ safari13 │ passed │ 15 │ 13 │ 0 │ 2 │ 4 │ 02:42 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-desktop-1920 │ passed │ 3 │ 3 │ 0 │ 0 │ 0 │ 00:57 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ iphoneX │ passed │ 3 │ 3 │ 0 │ 0 │ 0 │ 00:36 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-desktop-dark │ passed │ 77 │ 77 │ 0 │ 0 │ 5 │ 01:33 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ yandex-browser-phone │ passed │ 1 │ 1 │ 0 │ 0 │ 0 │ 00:28 │
├──────────────────────┼────────┼───────┼────────┼────────┼─────────┼─────────┼──────────┤
│ chrome-grid-720 │ passed │ 2 │ 2 │ 0 │ 0 │ 0 │ 00:49 │
└──────────────────────┴────────┴───────┴────────┴────────┴─────────┴─────────┴──────────┘
В отличие от простого отчета testplane, в отчете плагина stat-reporter результаты прогонов разбиты по браузерам. Также выводятся максимальное время выполнения (Duration) в минутах и секундах и результат прогона тестов (Status) в каждом браузере.
Такой отчет позволяет лучше понять в каких браузерах возникли проблемы, а именно: не проходит больше всего тестов или время выполнения резко возросло.
Плагин stat-reporter также позволяет формировать отчеты в виде html- или json-файлов. См. подробности в описании плагина.
Однако по своим возможностям плагин stat-reporter значительно уступает плагину html-reporter, который предоставляет разработчику гораздо более продвинутые способы работы с тестами и результатами их прогона.
Отчет плагина html-reporter
Добавьте в свой проект плагин html-reporter, чтобы получить графический html-отчет с результатами прогонов всех тестов. Также в полученном отчете вы сможете:
- отфильтровать тесты по статусам завершения;
- сгруппировать тесты по ошибкам или любому параметру из мета-информации теста;
- посмотреть диффы в скриншотах 6 разными способами;
- посмотреть отдельно все ретраи или ошибки в тестах.
Кроме того, html-reporter позволяет запускать testplane в специальном GUI-режиме. В этом режиме вы можете запускать и перезапускать тесты, переснимать скриншоты, использовать специальные режимы отладки и многое другое.
Ключевые слова
- stat-reporter
- html-reporter
- gui