Мы — команда ML-инженеров GigaChat Data. Наша команда готовит данные для обучения всей линейки моделей LLM GigaChat (Text, Vision, Audio, Embeddings и др.).
Мы собираем данные как для базовых моделей, так и для их адаптации под конкретные сценарии.
Сейчас мы ищем продуктового аналитика, который будет помогать нам с околорелизными процессами: системно оценивать модели, собирать тестовые наборы данных и отслеживать качество ответов на ключевых сценариях использования.
Вам предстоит
- Анализировать требования к качеству моделей и формализовывать их в тестовые сценарии и чек-листы.
- Собирать и поддерживать тестовые сеты.
- Участвовать в релизном процессе: проводить приёмку модели, оценивать качество ответов, считать автоматические метрики, организовывать и анализировать ручную разметку.
- Использовать современные подходы к оценке качества LLM:
- SBS (side-by-side evaluation) — сравнение моделей между собой.
- LLM-as-a-judge — автоматическая оценка ответа с помощью другой модели.
- Специализированные сайты, бенчмарки (ChatBot Arena, MT-Bench и др.).
- Взаимодействовать с командой разработчиков: выявлять потенциальные проблемы, предлагать улучшения.
- Отслеживать баг-репорты, классифицировать их и формировать задачи.
- Проводить анализ пользовательских логов, выявлять системные ошибки и регистрировать инциденты.
- Развивать автоматизацию проверки качества и интегрировать её в пайплайн релизов.
Требования
- Уверенное владение Python и опыт работы с библиотеками для анализа данных (pandas, NumPy и др.).
- Знание и практическое применение публичных бенчмарков (MMLU, GSM8K, MATH, HumanEval и т.д.).
- Практический опыт работы с современными LLM: Llama, Mistral, Qwen, GPT (OpenAI), Gemini (Google), Claude (Anthropic) или аналогичными.
- Навыки работы с данными: очистка, нормализация, подготовка дата-сетов.
- Внимательность к деталям, умение находить нестандартные ошибки в сложных сценариях.
- Способность документировать процессы в понятной форме.
Условия
- Удаленный/гибридный/офисный формат в Москве, Санкт-Петербурге и Нижнем Новгороде.
- Ежегодный пересмотр зарплаты и годовая премия.
- Расширенный ДМС и льготное страхование для семьи.
- Уникальная система обучения Сбера для профессионального и карьерного развития.
- Выгодная ипотека для сотрудников.
- Бесплатная подписка СберПрайм+, скидки на продукты компании-партнёров.
- Вознаграждение за рекомендацию друзей в команду Сбера.
- Корпоративная пенсионная программа.
