Аналитик-разработчик автометрик YandexGPT

Базовая модель YandexGPT лежит в основе Алисы, Поиска и многих других продуктов. Наша цель — улучшать модель, решая множество прикладных задач, постоянно мониторить качество со всех сторон и не терять ничего важного. Для этого нам нужна система надёжных крауд-разметок и автоматических метрик — такими автометриками и занимается наша команда. Мы замеряем модели на множестве бенчмарков: от классического MMLU до теста на знание русской культуры.

Ищем активных и заинтересованных аналитиков.

Почему в нашей команде классно

• YandexGPT — быстрорастущий проект, у нас можно проявить себя, поработать с крутыми опытными ML-специалистами.
• Можно гонять самые современные модельки Яндекса на мощных GPU-кластерах.
• Можно воспроизводить исследования из самых свежих статей и придумывать что-то новое.
• Мы учимся решать задачи, которые пока никто не умеет решать.
• Можно узнать, что думает YandexGPT до того, как его ограничат для внешнего пользования (научат этике).
• Нам помогает команда уникальных редакторов и AI-тренеров (например, член команды «Что? Где? Когда?» Алесь Мухин, составитель атласа культур и религий народов России и многие другие).

Какие задачи вас ждут

• Создание метрик качества.

Наша главная задача — всесторонне оценивать качество модели. Сравнить две LLM почти так же сложно, как сравнить двух человек: одного IQ-теста тут точно недостаточно. Поэтому мы создаём новые тесты (бенчмарки), исследуем и адаптируем опенсорсные решения.

• Интерпретация результатов экспериментов.

Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь раздебажить, что произошло.

• Анализ точек роста.

Есть множество сложных задач, с которыми наша модель ещё не справляется на достойном уровне. Мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения.

Мы ждем, что вы

• Работали над метриками в ML.
• Уверенно владеете SQL и Python.
• Умеете анализировать данные, строили эффективные процессы их обработки.
• Знаете теорию вероятностей и математическую статистику.
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему.
• Самостоятельны, аккуратны.

Будет плюсом, если вы

• Имеете опыт работы над LLM.
• Делали крауд-разметки с системой контроля качества.
• Свободно читаете на английском.

Условия

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.