Smoke-тестирование: зачем оно нужно и как выполняется

В рамках San Diego Comic-Con 2023 было представлено два новых трейлера игры. Нужен для проверки того, что приложение хоть как-то живёт. Критерии живости могут быть самые разные – от “всё что угодно кроме 404″ до “пользователь может залогиниться” и более сложных сценариев.

Автоматизированное смок-тестирование — пишутся скрипты, проверяющие ключевые функции. Иногда это бывает целесообразно, если действия стандартные и повторяемые. Smoke-тестирование – выполнение минимального набора тестов для выявления явных дефектов критичной функциональности. Этот чек-лист является базовым руководством для smoke-тестирования и может быть дополнен в зависимости от особенностей вашего проекта.

Войдите, чтобы написать ответ

Если смотреть интегрально, с точки зрения QA и CI-CD-пайплайна, то смок-тестирование — это о том как проверить, что остальные виды тестирования уже валидные, то есть можно идти дальше. Ведь если билд падает при установке, или если половина страниц сайта не грузится, то нет смысла продолжать тестирование, пока такие крупные дефекты не уберут. Дымовой тест легче автоматизировать, чем более глубокое и интеллектуальное тестирование. Автоматизация снижает количество ручного труда и поэтому позволяет проводить эти тесты чаще.

Это особенно важно для больших проектов, где множество инструментов, библиотек и функций могут привести к возникновению многочисленных ошибок и проблем в работе приложения. Таким образом, smoke-тесты — это простой и действенный способ проверить основной функционал сборки. Тем не менее они не отменяют необходимость проведения более глубоких проверок, затрагивающих функции, не столь важные для самой сборки, но имеющие большое значение для пользователя.

Преимущества дымового тестирования

Ручное смок-тестирование — это процесс проверки ключевых функций на явные дефекты. Чаще всего этим и ограничиваются, особенно если приложение небольшое. Обычно организации используют инструменты автоматического тестирования для выполнения регрессионного тестирования. Как мы уже говорили ранее, дымовое тестирование — это мини-тестирование и быстрое регрессионное тестирование. На период проблем с машинами записывать видео по работе приложения для возможности актуализации старых кейсов без машин, а также для быстрого знакомства с приложением новых тестировщиков в условиях дефицита машин. Цель такого тестирования – проверить, что после очередной сборки программного продукта нет явных, грубых дефектов, «блокирующих дальнейший путь».

Этот процесс обычно состоит из из небольшого набора тестов, выполняемых в каждой сборке. Первое, что нужно сделать – проверить, что каждая из морд отдаёт 200-й код ответа. Эта задача решается легко – пишем параметризованный тест, на входе он получает URL и через httpclient делаем запрос, получаем код ответа.

В других проектах

Зачем нам полноценный браузер, если проверить нужно только код ответа? Мобильная версия живёт по тому же урлу, то чтобы её получить, нужно подставить в заголовки запроса user-agent строчку нужного мобильного устройства. Как и при проведении регулярных сплит-тестов, смоук-тесты приведут вас к положительным итогам, даже если ваш продукт вдруг окажется никому не нужным. Было бы неплохо установить конкретные сроки для пятого шага, поскольку анализ и итерации могут продолжаться бесконечно, а результаты смоук-теста должны быть получены как можно раньше.

Некоторые организации используют инструменты автоматизации тестирования для выполнения дымового тестирования. Смоук-тестирование также может проводиться автоматически с использованием смоук тестирование инструмента или сценария для выполнения тестов. Если в сборке есть ошибки, это помогает нам определить, будет ли любое дальнейшее тестирование пустой тратой времени и ресурсов.

Чем различаются Smoke, Sanity и Регрессионное тестирование?

Хотя дымовое тестирование не гарантирует отсутствие дефектов в приложении, оно может быть эффективным способом быстрого выявления потенциальных проблем. Smoke-тесты могут выполняться вручную или автоматически и обычно включают запуск серии простых тестов приложения, чтобы убедиться, что оно отвечает ожидаемому. Вторая часть наших смок-тестов – проверка на js-ошибки – будет посложнее.

• Критерии живости могут быть самые разные – от “всё что угодно кроме 404″ до “пользователь может залогиниться” и более сложных сценариев.
• Если разобраться, у нас почасовка, финансовой заинтересованности в консалтинге проектов и их улучшении у нас почти никогда нет.
• Если таких людей будет сотни и тысячи — тут впору радоваться, а не горевать.
• Выражение «smoke-test» используется инженерами в шуточном смысле, так как появления дыма, а значит и порчи частей устройства, стараются избегать.
• Смок-тесты с теоретической точки зрения являются подмножеством регрессионных.

Кроме того, тестовые сценарии нуждаются в периодическом обновлении, чтобы исключить риск пропуска новых ошибок. Smoke-тестирование — проверка программного обеспечения на стабильность и наличие явных ошибок. Тест должен подтвердить или опровергнуть правильность выполнения ПО своих основных функций перед его передачей на более глубокое тестирование.

Как протестировать идею продукта с помощью смоук-тестирования

Документирование не велось, а если и были какие-то документы, то не всегда была понятна их актуальность и часто в помощь просто призывался «всезнающий гугл». Конкретные этапы смок-тестирования зависят от приложения — далее. Если тест пройден, контроль качества продолжит функциональное тестирование. Во-первых, после того, как группы контроля качества получили сборку, они проверяют версию сборки, чтобы убедиться, что она является последней или нет. Ручные дымовые тесты обычно включают в себя выполнение ряда простых тестов приложения, чтобы убедиться, что оно отвечает ожидаемому.

Даже если вы можете получить статистически значимый результат, всегда существует вероятность, что результат будет недостоверным. Это помогает направлять аудиторию, которую вы создаете. Дерек Сиверс (Derek Sivers), американский предприниматель, предлагает подвергнуть смоук-тесту сначала самое рискованное предложение. И если все же вам удастся привлечь небольшую группу людей, вы всегда можете принести им персональные извинения. Если таких людей будет сотни и тысячи — тут впору радоваться, а не горевать. Будем надеяться, что некоторые из них простят вам эту маленькую хитрость».