QA Automation в команду AI-ассистента

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды "Авито" разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы.

О команде

Мы развиваем AI-ассистента для профессиональных продавцов Авито. Он помогает работать с объявлениями, статистикой и продвижением, отвечает на вопросы и выполняет действия через сервисы платформы.

Продукт уже работает в продакшене, а его платформенная часть активно развивается: команде предстоит улучшать потоковую выдачу ответов, наблюдаемость, инфраструктуру оценки качества и долгосрочную память ассистента.

Какие задачи вас ждут

• Планировать и проводить тестирование новых функций AI-ассистента на вебе, iOS и Android.
• Развивать API-, интеграционные и E2E-автотесты.
• Тестировать LLM-сценарии: развивать eval-наборы, проверять гардрейлы и регрессию при изменении моделей и промптов.
• Оценивать риски перед запуском и координировать проверки с разработчиками и DS-командой.
• Самостоятельно отвечать за качество функциональности команды: подключаться к проработке решений, планировать тестирование, оценивать риски и сопровождать задачи до запуска.
• Работать с бэкендом, вебом, iOS и Android, а также с интеграциями со смежными сервисами.
• Подключать разработчиков к обеспечению качества.
• Работать с недетерминированными ответами модели, развивать проверки качества, тестировать гардрейлы и отслеживать влияние изменений промптов и моделей на продуктовые сценарии.
• Развивать подходы к тестированию LLM-функциональности: eval-наборы, критерии качества и регрессионные проверки.
• Проверять гардрейлы и негативные сценарии: некорректные ответы, галлюцинации, промпт-инъекции, утечки данных и выход за ограничения ассистента.
• Оценивать влияние изменений промптов, моделей и агентской логики на существующие сценарии.
• Участвовать в разборе проблем на стыке LLM, бэкенда и клиентских платформ.

Мы ждём, что вы

• Имеете опыт разработки автоматизированных тестов от 3 лет.
• Имеете опыт тестирования от 5 лет.
• Самостоятельно работали над качеством продукта или крупной функциональности.
• Умеете планировать тестирование и оценивать риски, в том числе при неполных требованиях.
• Тестировали клиент-серверные приложения: UI, веб, mAV, iOS, Android, API и интеграции.
• Писали и поддерживали API-, интеграционные или E2E-автотесты, мы пишем E2E-тесты на Go и JavaScript.
• Понимаете, какие проверки должны быть на каждом уровне тестирования.
• Умеете аргументированно оценивать готовность задачи к запуску.
• Работали с разработчиками, аналитиками, продуктом и смежными командами.

Работа у нас — это

• Возможность реализовать свои идеи в проекте с многомиллионной аудиторией.
• Талантливая команда, готовая поддержать ваши инициативы.
• Мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы.
• Прозрачная система премий, зарплата, размер которой обсудим на собеседовании.
• Личный бюджет на обучение: книги, курсы и конференции.
• Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
• Удалёнка и комфортный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.