Lead AI Quality & Benchmarking (Kandinsky)

Мы — команда Kandinsky, создающая и развивающая core-технологии генеративных моделей изображений и видео. Наши модели умеют создавать фотореалистичные сцены, стилизованные иллюстрации и видеоролики по текстовому описанию, редактировать визуальный контент и работать в мультимодальных сценариях.

Сейчас мы усиливаем направление оценки качества и бенчмаркинга моделей. Ищем лида команды AI Quality & Benchmarking, который возьмёт оунершип качества генеративных моделей и будет влиять на решения о релизах, развитии и сравнении с лучшими мировыми аналогами.

Обязанности

• полный оунершип трека оценки качества генеративных моделей (Image / Video / Multimodal).
• проектирование, развитие и поддержка бенчмарков качества: SBS, point-wise, pairwise, human-in-the-loop.
• формирование и развитие системы метрик качества: следование промпту, знания, визуальное качество, стабильность, safety.
• поддержка и развитие внутренних лидербордов моделей (качество, latency, стоимость инференса).
• анализ регрессий качества между версиями моделей, поиск корневых причин деградаций.
• сбор, систематизация и приоритизация обратной связи по качеству от пользователей и команд ML / Product.
• формирование и защита go / no-go решений по релизу моделей на основе данных и метрик.
• регулярный анализ и подготовка отчётов по моделям-конкурентам (open-source и proprietary).

Требования

• высшее образование в области математики, прикладной математики, computer science, data science, ML или смежных областях.
• 4+ лет опыта в Data Science / ML / Applied Research, из них существенный фокус на оценке качества моделей.
• глубокое понимание принципов работы генеративных моделей (V-LLM / diffusion / multimodal) и их ограничений.
• практический опыт проектирования и поддержки систем оценки качества моделей (offline и online evaluation).
• умение самостоятельно формулировать метрики качества и принимать архитектурные решения по evaluation-пайплайнам.
• сильный аналитический бэкграунд: работа со статистикой, интерпретация метрик, оценка значимости, анализ trade-off’ов (качество ↔ стабильность ↔ стоимость).
• уверенное владение Python (Pandas, NumPy, SciPy), опыт работы с SQL.
• опыт работы с human evaluation, субъективными метриками и процессами разметки данных.
• умение чётко формулировать выводы и доносить решения до ML, Product и руководства.

Условия

• крупнейшее DS&AI community — более 600 DS-специалистов банка.
• дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира.
• возможность быть соавтором НИРов и статей для международных конференций.
• возможность выбрать удобный формат работы: гибрид или офис.
• ежегодный пересмотр зарплаты, годовая премия.
• корпоративный спортзал и зоны отдыха.
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• ипотека выгоднее — до 7% для каждого сотрудника.
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров.
• вознаграждение за рекомендацию друзей в команду Сбера.