Минус 90% времени на рутину: как мы внедрили ИИ в работу QA-отдела

Сначала GPT‑3.5 мы использовали как альтернативу поисковым системам и для личных задач. Составляли список дел, писали поздравления. Запрос за запросом лед недоверия таял. Нейросети становились умнее, а мы – опытнее. Но на этом этапе мы экспериментировали без системной работы.

Прорыв случился, когда команда готовилась к внутренней аттестации QA‑инженеров — «Скиллфесту». Тогда решили использовать ИИ как тренера: задавали темы, например, «Тестирование API» или «Работа с Jira», и нейросеть генерировала вопросы, имитирующие реальные задачи. 

Инженеры давали ответы, а ИИ анализировал их на полноту, указывал на ошибки и предлагал рекомендации. Например, добавить проверку статус‑кодов в API‑тестах или уточнить критерии приоритизации багов.

Подготовка к аттестации с ИИ дала результат: команда показала высокие баллы, а главное — освоила новые подходы к тестированию. Это убедило всех, что ИИ может быть не просто помощником в рутине, но и инструментом для роста экспертизы. После «Скиллфеста» мы начали внедрять его в ежедневную работу. 

Далее расскажем про конкретные задачи, в которых нам помогает ИИ. Заранее отметим: нужно на практике подобрать нейросеть под цель. Мы для себя выбрали GPT‑4, Claude, Grok и Gemini.

Для начала решили отдать ИИ составление чек‑листов, потому что эта задача отнимает много времени. Без нейросети путь у специалиста следующий: 

1. Собрать требования — из ТЗ, макетов, устных уточнений.
2. Разделить на блоки — например, «Формы ввода», «Аккордеон», «Слайдер».
3. Определить типы проверок — критичные, второстепенные.
4. Составить список проверок — короткие пункты без деталей: «Проверить отображение компонента на мобильных устройствах», «Убедиться, что счетчик корзины обновляется при добавлении товара».
5. Добавить граничные условия — «Проверить ввод 0 товаров», «Проверить обработку 1000+ символов в поле». 

Временные затраты специалиста и ИИ мы сравним дальше в статье. А здесь покажем результат. Чтобы получить чек‑лист по вёрстке, мы задаём точный запрос

Другая задача, с которой справляется ИИ, — написание тест‑кейсов. Раньше это занимало много времени. Теперь мы описываем функцию в запросе, и нейросеть сразу предлагает основу: шаги проверки и ожидаемые результаты.

Ответ хороший, но все равно внесли корректировки. Тестировщик добавил один шаг — «Выбрать размер». Это заняло не больше минуты.

На практике выяснилось, что ИИ хорошо справляется с большинством типов багов. Опять же, если тестировщик четко описывает проблему. 

В целом нейросеть хорошо подходит: 

• для UI/UX‑багов вроде нерабочих кнопок, смещенных элементов, проблем с адаптивностью;
• ошибок валидации — некорректной обработкой пустых полей, спецсимволов;
• стандартных функциональных багов — например, неправильного расчета суммы в корзине;
• проблем с интеграциями — ошибками API, отсутствием ответа от сервера.

С ИИ больше нет неполных баг‑репортов, которые приходится уточнять много раз. 

Раньше составление баг‑репорта занимало до 20 минут, если нужно было подробно описать шаги воспроизведения. ИИ делает это за минуту. 

Но при сложных сценариях иногда требуется доработка. Например, если баг появляется только после пяти и более действий с определёнными входными данными. Сложнее всего ИИ обрабатывать ошибки, связанные с бизнес‑логикой — они зависят от уникальных правил проекта, которые нельзя вывести из запроса. Также нейросеть не всегда справляется с субъективными проблемами — например, с оценкой некорректной анимации, которую сложно формализовать.

Данные — основа любого тестирования. Здесь ИИ тоже полезен: чтобы протестировать работу с большим объемом статей, достаточно сделать пару кликов и задать параметры: количество, размер, тематика. 

ИИ генерирует реалистичные тексты с заголовками и описаниями. Раньше на подготовку тестовых данных уходил час, а то и два. С ИИ — пара минут и можно тестировать.

Мы провели эксперимент. Один тестировщик писал документацию вручную, а другой использовал ИИ. Результаты наглядные.

Несмотря на впечатляющие результаты, ИИ — не волшебная палочка. Делимся одной из галлюцинаций. Мы проверяли локализацию сайта и отправили ИИ скриншот интерфейса с просьбой проанализировать, есть ли на нем русские слова.

Галлюцинации ИИ можно победить с помощью хороших промптов. Мы не используем готовую базу, потому что каждый запрос уникален и зависит от задачи. 

Но есть правила, которые помогают избежать фантазий ИИ: 

• Конкретика вместо общих фраз. Не «Составь чек‑лист для сайта», а «Составь чек‑лист проверки корзины интернет‑магазина».
• Контекст. Например: «Ты — QA‑инженер. Нужно составить чек‑лист проверки формы регистрации: валидация полей, обработка ошибок, интеграция с CRM».
• Рамки. «Предложи 5 тест‑кейсов для кнопки „Заказать звонок„. Не используй сценарии с отключенным JavaScript». 

Над некоторыми задачами после ИИ все‑таки придется посидеть, какими бы удачными промпты ни были. Сгенерированные тест‑кейсы и баг‑репорты требуют доработки, как я говорил выше. ИИ может упустить нюансы бизнес‑логики или предложить шаблонные решения, которые не подходят для сложных сценариев. Кроме того, остаются вопросы конфиденциальности — использование ИИ требует осторожного подхода к обработке и хранению информации, особенно в проектах с чувствительными данными. ИИ — наш помощник, но без экспертизы QA‑инженеров не обойтись.

ИИ интегрирован в некоторые инструменты QA. Мы в команде используем: 

• Системы управления тестированием. Примером может служить Case, где ИИ создает автотесты на основе тест‑кейсов.
• Инструменты для тестирования пользовательского интерфейса. Applitools использует компьютерное зрение, чтобы выявить визуальные дефекты.
• Инструменты для создания рабочих пространств. Buildin.AI использует языковую модель на базе GPT‑4 для чек‑листов и оптимизации процессов. 

Эти инструменты помогают автоматизировать рутинные задачи и освободить время для более сложных сценариев и аналитической работы. И вот наглядный пример.

1. Качественные запросы — основа полезной работы с ИИ. Чем точнее промпт, тем точнее результат. Как мы говорим в команде: «Хороший промпт — тот, после которого ИИ не додумывает за тебя».
2. В нашей практике ИИ помогает в QA‑задачах — мы используем Case, Applitools, Buildin.AI. Но полную автоматизацию он не заменяет: нейросеть предлагает шаблонные решения и не учитывает контекст проекта.
3. Нельзя делегировать все задачи ИИ. Нейросеть дает шаблонные решения без понимания процессов и опыта тестировщиков. Люди нужны обязательно. 

ИИ не замена тестировщикам. Это инструмент, который делает нашу работу быстрее. Главное — задавать правильные вопросы и помнить, что без экспертизы человека даже самая умная нейросеть остается просто строкой кода.