Аналитик-разработчик (Качество генеративных моделей)

Мы развиваем Алису AI — систему моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Мы внедрили такую систему в Поиск Яндекса и Алису, и сейчас хотим научиться качественно отвечать на сложные запросы, требующие специализированных знаний.

Например: пользователь задаёт вопрос, связанный с его здоровьем. Чтобы сформировать корректный и полезный ответ, нужно глубокое понимание предметной области «медицина». А подобных запросов — сотни тысяч, и они охватывают самые разные темы.

Ищем аналитика-разработчика, который поможет нам совершенствовать наши модели.

Почему у нас классно

• Мы работаем с Алисой AI — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене.
• У нас вы сможете развивать как технические, так и коммуникативные и менеджерские навыки.
• Ваша работа прямо повлияет на то, каким станет Алиса AI через полгода.
• Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты.
• Вы будете работать бок о бок с практикующими специалистами (врачами, юристами и др.) и сильной ML-командой, превращая экспертные знания в понятные правила для модели.
• Наша слаженная команда аналитиков и ML-инженеров качества Поиска постоянно обсуждает задачи и обменивается опытом.

Какие задачи вас ждут

Метрики качества

Вам предстоит разбираться, как устроены метрики качества модели, развивать их на экспертных срезах и помогать улучшать продукт. Вы будете напрямую работать с экспертами (практикующими специалистами в своей области), формализовать их знания и превращать их в разметку и понятные критерии оценки для модели.

Аналитика генеративных ответов

Вместе с экспертами вы станете анализировать ответы модели на сложные темы, формулировать, что делает их полезными и точными для пользователя, и на основе этих выводов улучшать качество ответов.

Разработка инфраструктуры

Вы будете создавать процессы и инструменты, которые снижают рутину для экспертов и ускоряют разметку: разбираться в инфраструктуре, предлагать улучшения и запускать новые пайплайны для более эффективной работы.

Мы ждем, что вы

• Уверенно работаете с Python и SQL.
• Знаете математическую статистику и теорию вероятностей.
• Умеете формализировать и структурировать требования и ожидания заказчиков.
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения.
• Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую.

Будет плюсом, если вы

• Писали инструкции и самостоятельно запускали проекты разметки данных.
• Работали с машинным обучением и нейронными сетями.
• Умеете создавать точные и эффективные промпты для генеративных нейросетей.

Что мы предлагаем

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20.

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.