Аналитик ИИ-продуктов

Чем предстоит заниматься:

• Разрабатывать методику оценки качества AI-решений: определять ключевые метрики (precision/recall, доля авто-решений, доля ложных срабатываний), устанавливать целевые пороги и согласовывать их с заказчиком и руководителем AI-продуктов.
• Формировать бенчмарк-наборы данных, запускать регрессионное тестирование между версиями пайплайна и фиксировать показатели деградации.
• Обеспечивать наличие и высокое качество эталонных датасетов, организовывать процесс разметки совместно со стейкхолдерами.
• Развивать эталонные выборки через цикл active learning.
• Анализировать типичные ошибки модели, готовить диагностические отчёты и передавать инсайты команде разработки для устранения проблем.
• Переводить технические метрики в бизнес-эффекты, готовить данные и материалы для защиты направления и обоснования инвестиций.
• Вместе с руководителем AI-продуктов формировать измеримые критерии готовности решения к внедрению в продакшен.

Мы ожидаем:

• Коммерческий опыт в аналитике данных, ML-аналитике или data science от 3 лет.
• Практический опыт определения и валидации метрик качества в задачах, где готовых метрик изначально не было.
• Навыки самостоятельной работы с датасетами: сбор, очистка, разметка, анализ и подготовка данных.
• Уверенное владение SQL и Python на рабочем уровне для повседневных аналитических задач.
• Опыт построения бенчмарков и расчёта метрик качества и ранжирования.
• Понимание архитектуры LLM и RAG-пайплайнов, умение выявлять факторы, влияющие на итоговое качество ответов.
• Навыки презентации результатов и объяснения технических метрик нетехническим стейкхолдерам.
• Будет плюсом: опыт решения задач информационного поиска, классификации, маппинга или матчинга данных.

Условия:

• Возможность выбора формата работы (гибрид/удаленка);