Ищем аналитика в проект по созданию цензор-модуля — системы автоматической фильтрации нежелательного контента в генерации LLM. Модуль будет интегрирован в ключевые продукты банка — от виртуальных помощников до внутренних чат-ботов. Проект только запустился, поэтому будет возможность влиять на ход принятия решений. Зона ответственности — контроль качества и стабильности ML-сервисов цензор-модуля, построенных на базе LLM. На начальных этапах упор будет на работу с текстом, в будущем скорее всего придем и к работе с изображениями. Работа на стыке анализа данных, построения мониторинга, общения с разработкой и бизнесом. Ищем человека, который не просто «мониторит графики», а понимает, что происходит под капотом у моделей, умеет ставить гипотезы и проверять их на практике, готов копаться в логах, пайплайнах и коде.
Задачи
- Мониторинг систем автоматической генерации текста и изображений с использованием продвинутых подходов в аналитике и мат статистике.
- Участие в проектировании и запуске систем контроля качества генерации.
- Построение и автоматизация пайплайнов для мониторинга моделей.
- Разработка метрик, визуализаций, алертов.
- Анализ отклонений, формулирование гипотез, тестирование и обсуждение с разработкой.
- Сбор, агрегация и интерпретация логов работы моделей.
- Работа в связке с продуктом, DS, разработкой и бизнесом.
Наши пожелания к кандидатам
- Опыт в валидации, разработке или мониторинге NLP-моделей.
- Уверенное владение Python и SQL.
- Опыт работы с BI-инструментами.
- Опыт работы с Hadoop/Spark/Hive — важно.
- Понимание принципов работы LLM: от архитектур до особенностей inference.
- Умение формулировать гипотезы и проверять их на данных.
- Навыки постановки бизнес-требований, описание процессов.
Будет плюсом
- Опыт в мониторинге ML-моделей.
- Участие в разработке или аудите LLM.
- Понимание базовых принципов MLOps или построения дата-инфраструктуры.
- Участие в ML-соревнованиях, Kaggle-контестах, публикации, pet-проекты.
Условия
- Минимум бюрократии — фокус на суть.
- Работа с живыми LLM в реальных продуктах.
- Карьерный рост: пересмотр зарплат раз в год.
- Квартальный бонус по результатам работы.
- ДМС со стоматологией с первого дня работы + 10 дней полной компенсации больничного.
- Стабильную работу в одном из крупнейших банков страны.
- Конкурентную заработную плату, соцпакет.
- Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).
