С ИИ наша команда начала знакомиться в 2023-м. И тогда он казался чем-то вроде темной комнаты: куда идти и что делать, непонятно. В отделе QA Kokoc Tech мнения разделились: кто-то относился со скептицизмом, кто-то с любопытством. Конечно, опасались, что в комнате скрываются машины, которые заменят инженеров. Но время расставило все по местам. Мы научились не просто ориентироваться в этой комнате, но и использовать ИИ как надежного партнера.
В статье мы поделимся опытом QA-команды: как и с какими задачами помогает ИИ, и покажем, насколько это ускоряет работу.
Сначала GPT-3.5 мы использовали как альтернативу поисковым системам и для личных задач. Составляли список дел, писали поздравления. Запрос за запросом лед недоверия таял. Нейросети становились умнее, а мы – опытнее. Но на этом этапе мы экспериментировали без системной работы.
Прорыв случился, когда команда готовилась к внутренней аттестации QA-инженеров — «Скиллфесту». Тогда решили использовать ИИ как тренера: задавали темы, например, «Тестирование API» или «Работа с Jira», и нейросеть генерировала вопросы, имитирующие реальные задачи.
Инженеры давали ответы, а ИИ анализировал их на полноту, указывал на ошибки и предлагал рекомендации. Например, добавить проверку статус-кодов в API-тестах или уточнить критерии приоритизации багов.
Подготовка к аттестации с ИИ дала результат: команда показала высокие баллы, а главное — освоила новые подходы к тестированию. Это убедило всех, что ИИ может быть не просто помощником в рутине, но и инструментом для роста экспертизы. После «Скиллфеста» мы начали внедрять его в ежедневную работу.
Ниже — конкретные задачи, в которых нам помогает ИИ. Заранее отметим: нужно на практике подобрать нейросеть под цель. Мы для себя выбрали GPT-4, Claude, Grok и Gemini.
Для начала решили отдать ИИ составление чек-листов, потому что эта задача отнимает много времени. Без нейросети путь у специалиста следующий:
Временные затраты специалиста и ИИ мы сравним дальше в статье. А здесь покажем результат. Чтобы получить чек-лист по вёрстке, мы задаём точный запрос
ИИ способен создавать почти все чек-листы сайтов, если в промпте четко описать требования. Например: «Составь чек-лист проверки формы регистрации на сайте. Учти: валидацию полей, обработку ошибок, отображение уведомлений, интеграцию с CRM».
Это работает, потому что нейросеть добавляет сценарии, которые человек может пропустить:
Мы всегда дополняем генерацию ИИ нашими рабочими шаблонами. Конечно, бывают задачи, где без человека не обойтись — например, с уникальными сайтами с нетипичной логикой.
Другая задача, с которой справляется ИИ, — написание тест-кейсов. Раньше это занимало много времени. Теперь мы описываем функцию в запросе, и нейросеть сразу предлагает основу: шаги проверки и ожидаемые результаты.
Ответ хороший, но все равно внесли корректировки. Тестировщик добавил один шаг — «Выбрать размер». Это заняло не больше минуты.
На практике выяснилось, что ИИ хорошо справляется с большинством типов багов. Опять же, если тестировщик четко описывает проблему.
В целом нейросеть хорошо подходит:
С ИИ больше нет неполных баг-репортов, которые приходится уточнять много раз.
«Раньше составление баг-репорта занимало до 20 минут, если нужно было подробно описать шаги воспроизведения. ИИ делает это за минуту.», — QA-инженер Дмитрий Полянсков
Но при сложных сценариях иногда требуется доработка. Например, если баг появляется только после пяти и более действий с определёнными входными данными. Сложнее всего ИИ обрабатывать ошибки, связанные с бизнес-логикой — они зависят от уникальных правил проекта, которые нельзя вывести из запроса. Также нейросеть не всегда справляется с субъективными проблемами — например, с оценкой некорректной анимации, которую сложно формализовать.
Данные — основа любого тестирования. Здесь ИИ тоже полезен: чтобы протестировать работу с большим объемом статей, достаточно сделать пару кликов и задать параметры: количество, размер, тематика.
«ИИ генерирует реалистичные тексты с заголовками и описаниями. Раньше на подготовку тестовых данных уходил час, а то и два. С ИИ — пара минут и можно тестировать.», — QA-инженер Вадим Полькин
Мы провели эксперимент. Один тестировщик писал документацию вручную, а другой использовал ИИ. Результаты наглядные.
Несмотря на впечатляющие результаты, ИИ — не волшебная палочка. Делимся одной из галлюцинаций. Мы проверяли локализацию сайта и отправили ИИ скриншот интерфейса с просьбой проанализировать, есть ли на нем русские слова.
Галлюцинации ИИ можно победить с помощью хороших промптов. Мы не используем готовую базу, потому что каждый запрос уникален и зависит от задачи. Но есть правила, которые помогают избежать фантазий ИИ:
Над некоторыми задачами после ИИ все-таки придется посидеть, какими бы удачными промпты ни были. Сгенерированные тест-кейсы и баг-репорты требуют доработки, как я говорил выше. ИИ может упустить нюансы бизнес-логики или предложить шаблонные решения, которые не подходят для сложных сценариев. Кроме того, остаются вопросы конфиденциальности — использование ИИ требует осторожного подхода к обработке и хранению информации, особенно в проектах с чувствительными данными. ИИ — наш помощник, но без экспертизы QA-инженеров не обойтись.
ИИ интегрирован в некоторые инструменты QA. Мы в команде используем:
Эти инструменты помогают автоматизировать рутинные задачи и освободить время для более сложных сценариев и аналитической работы. И вот наглядный пример.
ИИ не замена тестировщикам. Это инструмент, который делает нашу работу быстрее. Главное — задавать правильные вопросы и помнить, что без экспертизы человека даже самая умная нейросеть остается просто строкой кода.
Выполним полноценный UX-аудит по фиксированной цене 100 000 ₽
