Аналитик GPT-моделей (Алиса)

Основная ответственность аналитика — сбор данных для обучения и оценка качества моделей через построение автоматизированных систем обработки данных. Для оценки качества используем как офлайн-подход (оценка качества на заранее собранных корзинах), так и онлайн-подход (проводим А/В-эксперименты). Продовые модели на основе собранных нами данных обучают ML-разработчики, а мы применяем ML для анализа логов, создания метрик и упрощения своей жизни.

Для аналитика работа с Алисой — это уникальный микс продуктовых исследований и Data Science, возможность работать с разными устройствами (телефонами, колонками, телевизорами, автомобилями и не только) и участвовать в создании виртуального ассистента, в отношении которого не стыдно применить термин Artificial Intelligence (AI).

Алиса и наша команда — это:

• Передовой продукт с MAU >70M с состоявшейся бизнес-моделью, где сохранено умение двигаться с целью максимально быстро приносить пользу людям.
• Продукт, который экономит пользователям «когнитивные калории», помогает в развитии и работе, развлекает и поддерживает беседой, может решать широкий спектр повседневных и сложных человеческих задач.
• Неравнодушная аудитория пользователей и коллег, которая даёт быструю обратную связь.
• Место работы, где легко и не стыдно показать другим людям, чем занимаешься и каков твой вклад в работу.
• Место развития технологий Cutting Edge, где ещё нет готовых решений, задачи не имеют потолка сложности и дают шанс сделать что-то первым в мире.

Очевидно, что прогресс в AI доходит до уровня Commodity на уровне гонки моделей, а ценность для человечества переходит в сторону решения задач в реальном мире. Многие задачи нельзя решить одной моделью в точке через порепличное взаимодействие в чате, поэтому мы делаем большую ставку на агентов.

До конца года мы хотим создать вау-продукт на базе агентских технологий. В общем виде это:

• Система, которая решает растянутые во времени задачи, может выяснить все детали, разработать план и использовать набор внешних инструментов для достижения цели.
• Алиса — оркестратор технологий, личный ассистент и второй мозг, она проактивна и персональна.
• Умение качественно решать задачи людей в разнообразных и естественных формулировках, для которых в пресс-релизе достаточно одной строчки — «Алисе теперь можно делегировать».

Какие задачи вас ждут

Метрика качества Алисы и агентских систем end-to-end

Вместе с нами вы будете разрабатывать общую систему офлайн-метрик Алисы, делать пайплайн оценки, определять критерии качества и данные для создания вау-продукта.

Качество решения агентских задач

Для отдельных задач агентов нужно будет обеспечить дополнительные продуктовые метрики качества и данные.

Рефлексия, память и персонализация

Алиса должна знать о своих умениях и возможностях, не забывать, о чём с ней общались раньше, и не быть бездушной системой. Вы будете работать над этим.

Мы ждем, что вы

• Знаете теорию вероятностей и математическую статистику.
• Глубоко владеете SQL, Python/pandas.
• Умеете писать аналитический production-код и создавать инструкции, способны видеть продукт или проект в целом.
• Работали как с Data Science, так и с продуктовой аналитикой.
• Обладаете навыками анализа и построения эффективных процессов обработки данных.
• Интересуетесь развитием AI-помощников.
• Инициативны и готовы к самостоятельному поиску решений.

Будет плюсом

• Если вы работали с NLP, краудсорсинговыми разметками и ML.

Что мы предлагаем

Здоровье

• Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В нее входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или на онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть все, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

А также

• Оплата участия в профильных конференциях.
• Скидка 50% на изучение иностранных языков.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

• Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажеры, спортивный инвентарь, душевые, шкафчики для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А еще они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.