QA Automation Engineer (LLM/NLP/ML)

Задачи, которые нужно решать

• Тестирование ML-моделей в домене LLM/NLP.
• Внедрение процессов обеспечения качества в сфере разработки ML-продуктов команды.
• Формирование необходимого набора метрик качества для ML-моделей команды, развитие этих метрик и контроль за ними.
• Формирование датасетов, подготовка заданий и контроль работы команд разметки данных.
• Проведение ручного тестирования веб-сайта (Frontend/Backend).
• Разработка тест-планов и ручных тест-кейсов.
• Разработка автотестов (Selenium+Python).
• Участие в груммингах новых фич, способность комплексно смотреть на тестируемый продукт, видеть узкие места в реализации функционала, предлагать улучшения.
• Контроль соответствия качества релизов принятым в компании критериям.
• Контроль метрик команды, связанных с качеством, выработка инструментов для их контроля.
• Тестирование требований.
• Анализ и оптимизация тестового покрытия на проекте.
• Взаимодействие с разработчиками, продакт-менеджерами, проджект-менеджерами, отделом дизайна и клиентской службой.
• Разбор входящих обращений от клиентской службы.

Что мы ищем в нашем кандидате

• Опыт ручного тестирования Web-приложений от 3 лет.
• Опыт в тестировании моделей машинного обучения от 1 года.
• Опыт в составлении тест-планов и тестовой стратегии.
• Опыт разработки скриптов на Python.
• Опыт работы с баг-трекинговыми системами и системами менеджмента тест-кейсов (Jira, TestRail и т.п.).
• Знание методологий тестирования и разработки ПО.
• Понимание того, какие подходы в обеспечении качества дадут лучший эффект для различных ML-моделей.
• Понимание особенностей тестирования Web на различных платформах/браузерах.

Будет плюсом, если имеете

• Опыт автоматизированного тестирования от 1 года.
• Опыт тестирования мобильных приложений.
• Знание методов машинного обучения, статистического анализа и алгоритмов.
• Опыт работы с инструментами для визуализации данных и аналитики.

Что мы предлагаем

• Удаленную работу в аккредитованной IT-компании и возможность приходить в офис в Москве, Санкт-Петербурге и Новосибирске. В офисе — кухни, оборудованные всем необходимым, где всегда доступно много разнообразной еды, снеки, фрукты, кофе и чай. Тихие комнаты, где можно сосредоточиться над задачей или просто отдохнуть в тишине, массажное кресло и массажный шлем, «мягкая зона» с PlayStation. Бесплатная авто- и велопарковки.
• Рост и развитие: в первые месяцы у каждого сотрудника есть наставник, после появляется личный план развития и возможность прокачивать Soft/Hard skills на практике, обучении, конференциях.
• Плюшки: ДМС с первого дня (стоматология, госпитализация, полис туриста), ежегодная компенсация спорта, 5 days-off в год, помимо основного отпуска.