Аналитик-разработчик (Oценкa качества Нейрo)

Поиск с Алисой — это не просто выдача ссылок: он создаёт подробные, структурированные ответы с разделами, картинками и видео. Но как понять, что качество этих ответов хорошее?

Можно, например, применить классический подход — проанализировать поведение пользователей. Однако современный интернет стал настолько сложным, что часто одних онлайн-метрик недостаточно. Поэтому мы подходим к задаче комплексно: дополнительно строим офлайн-приборы, которые позволяют перед экспериментами заранее отвечать на конкретные вопросы. Стали ли ответы лучше? Как часто в них встречаются серьёзные ошибки? Соответствуют ли они запросам?

Вы будете не просто анализировать данные, а создавать правила и метрики, которые станут «детектором качества» для ответов.

К чему мы стремимся?

• Сделать поиск нового поколения

Не просто выдачу ссылок, а интеллектуального помощника, способного решать задачи пользователя на месте, без необходимости переходить куда-либо.

• Отвечать не только на русском

Мы запускаемся в новых регионах, где нас ждут вызовы, связанные с языковыми и региональными особенностями.

• Давать развёрнутые ответы

Наша цель — ответы, в которых текст, видео и картинки работают вместе. Мы делаем информацию живой, чтобы она запоминалась с первого взгляда.

• Не врать!

Никаких домыслов или «креативных» интерпретаций. Мы строго следим, чтобы ответы опирались на проверенные данные, а каждое утверждение подкреплялось надёжными источниками. Мы учим модели не фантазировать, а опираться на факты — даже если это сложнее.

У нас классно, потому что

• Мы работаем над Поиском с Алисой — продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене.
• Наши задачи тесно связаны и с дизайном самого продукта, и с ML.
• Мы даём возможность развивать технические, коммуникативные и менеджерские навыки.
• Ваша работа прямо повлияет на то, каким станет Поиск с Алисой через полгода.
• Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты.
• Мы слаженная команда аналитиков и ML-инженеров качества.

Какие задачи вас ждут

• Придание чёткой формы продуктовым требованиям.

Наша ключевая задача — формализовать изначально абстрактные требования продуктовой команды в набор ясных правил и принципов. Эти критерии позволяют нам объективно определять, является ли ответ модели хорошим (подходящим для продукта) или плохим (ошибкой в продукте), и обосновывать решение. Сначала мы разрабатываем эти правила сами, анализируя примеры и обобщая наблюдения в инструкции, а затем обучаем им AI-тренеров и асессоров, чтобы увидеть улучшения в ответах модели в новых версиях.

• Создание комплексных проектов по разметке данных (краудсорсинг и LLM).

Для обучения современных моделей нужно очень много размеченных данных высокого качества. Мы создаём проекты для такой разметки, привлекая людей через Yandex Crowd или используя LLM: собираем задание (от инструкции до интерфейса), находим исполнителей и обучаем их. Каждая новая задача требует понимания взаимосвязей системы, выстраивания сложной архитектуры и изобретения новых комбинаций стандартных подходов к разметке.

• Повышение качества, оптимизация и экономия ресурсов.

Мы регулярно следим за метриками качества получаемых разметок и ищем точки роста. Для этого строим детализированные дашборды, настраиваем пайплайны подготовки данных, экспериментируем со схемами разметки и анализируем характеристики запросов/ответов (тематика, структура и т. д.). Наша задача не просто помогать продукту становиться лучше, а делать это при заданных ограничениях времени или бюджета.

Мы ждем, что вы

• Умеете писать на Python и SQL.
• Знаете математическую статистику и теорию вероятностей.
• Любите работать с данными и умеете извлекать из них практический результат.
• Умеете взаимодействовать с командой, ясно излагать мысли, понимать и убеждать коллег.
• Готовы разбираться в том, как и почему должен работать продукт.

Будет плюсом, если вы

• Работали с Толокой или другими краудсорс-платформами.
• Писали инструкции и самостоятельно запускали проекты по разметке данных.

Условия

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.