Аналитик-разработчик (Alice AI LLM)

Наша команда занимается развитием большой языковой модели Alice AI LLM – технологии, лежащей внутри разных продуктов Яндекса, главный из которых чат с Алисой.

Мы хотим, чтобы Алиса возглавила топ ассистентов в России, ежедневно помогала пользователям в учёбе и работе, дружелюбно поддерживала беседу. Для этого мы формулируем ключевые продуктовые аспекты ответов, а потом переводим их в метрики и готовим данные, необходимые для роста качества.

Какие задачи вас ждут

1) Создание метрик качества

Одна из главных задач — оценивать качество модели. Для этого мы используем разные подходы: от бенчмарков и LLM-as-a-judge до краудсорсинга и высококвалифицированных AI-тренеров. Вам предстоит формулировать критерии, экспериментировать с подходами и создавать стабильные метрики, по которым можно улучшаться.

2) Анализ проблемных срезов

Задача аналитика — проактивно искать проблемы, с которыми модель пока не справляется, и вместе с командой разработки придумывать план решения, готовить данные для обучения моделей, а потом оценивать эффективность изменений.

3) Сбор данных

Хорошие данные — это очень важно. Вам предстоит искать качественные источники инстрактов для обучения и валидации, находить проблемы в имеющихся данных, формулировать критерии эталонных ответов и пристально следить за соблюдением этих критериев.

Мы ждем, что вы

• Работали над метриками в ML.
• Уверенно владеете SQL и Python.
• Любите и умеете анализировать текстовые данные, строили эффективные процессы их обработки.
• Знаете теорию вероятностей и математическую статистику.
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения.
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему.

Будет плюсом, если вы:

• Имеете опыт работы с LLM.
• Работали с Толокой или другими краудсорс-платформами.