Senior AQA Engineer (AI-агенты, Python)

Привет! Мы — команда ИИ-агентов, и мы создаём новый способ взаимодействия с привычными продуктами 2ГИС и Отелло. Мы уверены, что в ближайшем будущем общение с ИИ-ассистентами станет таким же естественным, как использование мобильных приложений сегодня.

Сейчас мы ищем AQA-инженера, который поможет нам воплотить это будущее в жизнь.

Чем предстоит заниматься

• Участвовать в проектах по разработке ИИ-ассистентов на базе API 2ГИС с текстовыми и голосовыми интерфейсами.
• Организовать и выстроить процесс тестирования ИИ-агентов.
• Подготавливать тестовые сценарии и данные.
• Проводить различного рода тестирование (ручное, функциональное, E2E, нагрузочное и прочее) ИИ-агентов на всем цикле разработки.
• Участвовать в формировании стратегического плана развития ИИ-ассистентов в продуктах 2ГИС, разработке roadmap.

Фреймворки и инструменты тестирования ИИ

• Langfuse. Трейсинг и мониторинг ИИ-пайплайнов.
• Интеграционное тестирование. End-to-end сценарии с реальными API. Тестирование цепочек рассуждений агента. Проверка контекстной памяти и диалогов.
• Системное тестирование. Performance под нагрузкой (latency, throughput). Стресс-тестирование при высоком количестве запросов. Тестирование деградации при недоступности внешних API.
• Safety Testing. Prompt injection. Тестирование на генерацию вредного контента. Проверка обработки персональных данных.
• Robustness Testing. Adversarial inputs и edge cases. Тестирование на неполных или противоречивых данных.
• Продакшн мониторинг. Настройка алертов на качество ответов агента. Трекинг пользовательской удовлетворенности (ratings, feedback).

Что вам понадобится для успеха

• Опыт работы в тестировании от 5 лет.
• Опыт написания автотестов на Python.
• Опыт проведения нагрузочного тестирования.
• Опыт формирования процесса тестирования продукта с высокой нагрузкой.
• Знание архитектур ИИ-агентов (ReAct, Tool Use, RAG, Multi-Agent и прочее).
• Понимание принципов работы LLM (токенизация, промпты и прочее).
• Опыт работы с LangChain/LangGraph или аналогичными фреймворками.
• Понимание недетерминированности ИИ-систем и методов ее контроля.

Будет плюсом:

• Опыт работы в быстро развивающихся компаниях или стартапах.
• Опыт работы с Jira, Confluence.
• Знание принципов RAG (Retrieval-Augmented Generation).

Почему у нас классно

• 2ГИС – аккредитованная IT-компания.
• Можно работать удалённо. Если хочешь работать в гибридном формате, есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске. А также коворкинги в Томске, Саранске, Казани, Екатеринбурге.
• Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента.
• Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра/VC.
• У нас есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.

Будем рады развивать продукты вместе.

Приходите, у нас хорошо. Как у других, только лучше!