Аналитик-разработчик (Качество генеративных ответов)

Мы делаем сервис Нейро — новый способ поиска информации, который скоро может вытеснить привычную всем выдачу с синими ссылками. Подробнее читайте в статье на Хабре «Яндекс запустил Нейро. Рассказываем, как он работает».

Если коротко: генеративная нейросеть (LLM) на основе YandexGPT анализирует содержимое веб-страниц и отвечает на вопросы пользователя в чате. Чтобы обучать нейросети и измерять качество их работы, мы делаем проекты разметки ответов с помощью Yandex Crowd — внутреннего сервиса Яндекса. От успешности этих проектов прямо зависит развитие Нейро. Чтобы лучше понять, как мы работаем с продуктом, можете посмотреть рассказ о разметках для Поиска на конференции DataDriven.

Если вы знаете аналитику, хорошо пишете код и делаете точные выводы на основе данных — приходите вместе с нами строить поиск будущего!

Какие задачи вас ждут

Формализация требований к качеству продукта

Наша основная задача — превратить плохо формализованное и противоречивое определение продукта в набор чётких правил и принципов, с помощью которых мы сможем обозначить конкретный ответ как хороший (подходящий для продукта) или плохой (ошибка в продукте) и обосновать такое решение. Сначала мы учимся делать это сами (собираем и обсуждаем примеры, пишем инструкции) — а затем обучаем этому AI-тренеров и асессоров.

Создание сложных проектов в Yandex Crowd

Для массового сбора разметки мы создаём иерархические проекты из нескольких уровней разметчиков. У каждой группы исполнителей свой метод обучения и свои требования к качеству. Мы запустили в 2023-м и продолжаем развивать несколько проектов, которые сильно отличаются от типовых сложностью и большими объёмами заданий.

Проверка подтверждённости ответов

Одна из самых важных задач — проверять подтверждённость ответов Нейро. Это значит, что ответ по смыслу следует содержанию источников (веб-страниц, на основе которых он написан): верно передаёт факты, не противоречит им, не врёт, не вводит пользователя в заблуждение. На практике это сложное задание анализа текста, и его качеством мы будем активно заниматься в ближайшие полгода.

Мы ждем, что вы

• Въедливы, готовы до мелочей разбираться в том, как и почему должен работать продукт.
• Умеете писать на Python и SQL.
• Знаете математическую статистику и теорию вероятностей.
• Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег.
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения.

Будет плюсом, если вы

• Работали с Толокой или другими краудсорс-платформами.
• Писали инструкции и самостоятельно запускали проекты разметки данных.

У нас классно, потому что

• Мы работаем с Нейро — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене.
• Наши задачи тесно связаны и с дизайном самого продукта, и с ML.
• Мы даём возможность развивать как технические, так и коммуникативные и менеджерские навыки.
• Ваша работа прямо повлияет на то, каким станет Нейро через полгода.
• Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты.
• Наша слаженная команда аналитиков и ML-инженеров качества Поиска постоянно обсуждает задачи и обменивается опытом.

Что мы предлагаем

Заботу о здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и родов — через два года.
• Страховка для родственников по системе 80/20.

Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

А также

• Оплата участия в профильных конференциях.
• Скидка 50% на изучение иностранных языков.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.