ML инженер в платформу оценки агентных систем (Крупный Банк)

Команда AI Common Service Team развивает платформенные продукты для разработки, внедрения и сопровождения AI/ML-решений в банке: GPU Cluster, LLM Gateway, векторные БД, инструменты Observability и Context Annotation Platform.
Еще одно из наших направлений — платформа оценки агентных систем на задачах банка. Мы развиваем её, чтобы команды могли сравнивать решения, выбирать подходящие инструменты и проверять, как изменения моделей и агентов влияют на качество, автономность, скорость и стоимость выполнения задач.

Ключевые задачи

• Определять метрики качества, автономности, скорости и стоимости выполнения задач и реализовывать их расчёт.
• Подключать агентные системы к платформе оценки и настраивать регулярные воспроизводимые прогоны.
• Вместе с командами собирать наборы задач для разных этапов SDLC и определять требования к результатам.
• Развивать платформу: запуск экспериментов, сбор результатов, сравнение версий и конфигураций агентных систем.
• Расширять оценку от текущих сценариев работы с кодом на другие этапы SDLC.

Экспертиза

• Уверенный Python: возможность разобраться в чужом коде, добавить функциональность, написать тесты и найти причину ошибки.
• Опыт разработки LLM-приложений или агентов: понимание архитектуры AI-агентов на системном уровне (Skills, MCP, Subagents), экономики LLM, принципов использования контекста и инструментов.
• Опыт работы с Git, code review, CI и автоматическими тестами.
• Сильная экспертиза в настройке evals для агентных систем.
• Готовность обсуждать критерии качества с разработчиками и пользователями платформы, разбирать спорные примеры и пересматривать свои предположения.
• Активное использование AI-инструментов в повседневной разработке.

Дополнительные навыки, которые мы ценим

• Опыт разработки кодовых агентов или бенчмарков для них.
• Знание статистики: методы сбора выборки, сравнения результатов экспериментов и учёта неопределённости оценок.
• Опыт работы с Docker и Kubernetes.
• Опыт frontend-разработки и работы с UI.

Бенефиты для сотрудников

• Работа над уникальной платформой оценки AI-агентов, результаты которой влияют на выбор инструментов во всём банке.
• Автономность в выборе подходов к решению задач и прямая ответственность за результат.
• Возможность работать на стыке исследований и инженерии: от гипотезы до продакшн-решения.
• Возможность работать из офиса или удаленно.
• ДМС со стоматологией, массажем, телемедициной, ежегодными чекапами, которое работает как в Москве, так и в регионах.
• Три оплачиваемых отгула в год.
• Страхование жизни в путешествиях, от несчастных случаев, болезней и критических заболеваний.
• Бесплатные индивидуальные консультации психологов, юристов, экспертов по личным финансам и консультантов по здоровому образу жизни.
• Поддержка опытного наставника, обучающие курсы для комфортной адаптации, помощь в развитии экспертизы со стороны профессиональных сообществ банка.
• Собственная ИТ-академия, участие в конференциях.
• Льготные условия по банковским продуктам и услугам.
• Скидки от партнеров банка в приложении PrimeZone в сферах здоровья, развлечений, творчества и интернет-покупок.