Команда AliceGPT делает Алису ещё умнее и ближе к человеку путём интеграции в неё GPT-технологий. Мы создаём из Алисы персонального ассистента, который:
- Может решать широкий спектр повседневных и сложных человеческих задач.
- Экономит силы и время пользователей.
- Помогает в развитии и работе, развлекает и поддерживает беседой.
Аналитики-разработчики активно участвуют в обучении и внедрении GPT-like-моделей, работая на старте и на финише ML-пайплайна. В зону ответственности аналитиков входят сбор данных для обучения и оценка качества модели. Для оценки качества используются как офлайн-подход (оценка качества на корзинах запросов через краудсорсинговые платформы), так и онлайн (проводим А/В-эксперименты).
Мы расширяем команду аналитики AliceGPT и ищем тимлида, который возглавит нескольких аналитиков и возьмёт на себя часть ответственности внутри продукта.
Какие задачи вас ждут
- Создавать метрики качества и датасеты для обучения ML-моделей. Мы дообучаем большую LLM YandexGPT-3 под задачи, специфические для Алисы. Разберём на примере задачи «Доуточнить запрос, если не совсем понятно, что именно хотел пользователь». Для решения этой задачи нужно собрать валидационный и обучающий пулы с примерами непонятных запросов, написать под них правильные ответы и придумать метрику, которая будет замерять улучшение, — например, сравнение side-by-side.
- Проводить А/В-эксперименты и офлайн-замеры качества. После того как мы, например, научили Алису переспрашивать, нужно принять новую функциональность через А/В-тест. Доуточнения значительно меняют взаимодействие пользователя с Алисой, и нужно понять по онлайн-метрикам использования на разных типах устройств (колонки, телевизоры, приложения для телефонов), насколько стало лучше или где ухудшилось. А после приёмки нам понадобится офлайн-измерение — тест на корзине запросов, который будет показывать, что новое умение Алисы работает как ожидается и релизы другой функциональности его не ломают.
- Управлять бригадой аналитиков и участвовать в найме. Команда AliceGPT за полгода выросла с двух человек до пяти, но количество новых умений Алисы, которые мы хотим построить с помощью языковых моделей, за то же время выросло на порядок. Нужно включиться в наём, нанять фултайм-аналитика и одного-двух стажёров на уже открытые позиции.
Мы ждём, что вы
- Готовы не только быть лидом, но и самостоятельно работать руками (50/50).
- Знаете теорию вероятностей и математическую статистику.
- Глубоко владеете SQL, Python/Pandas.
- Работали в ML-проектах: с NLP, crowdsource-разметками и ML.
- Умеете писать аналитический production-код и создавать сложные метрики на основе разметок.
- Можете транслировать видение продукта или проекта в иерархию метрик.
- Способны управлять командой аналитиков, поддержки разметок, редакторов, асессоров для контроля качества данных.
- Работали как с Data Science, так и с продуктовой аналитикой.
- Создавали и тестировали метрики, визуализировали данные.
- Обладаете навыками анализа, строили эффективные процессы обработки данных.
- Интересуетесь развитием голосовых помощников и искусственного интеллекта.
- Инициативны и готовы к самостоятельному поиску решений.
- Имеете опыт работы от 3 лет.
Условия
Здоровье.
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- Психотерапия в офисе или на онлайн-сервисах.
- Лазерная коррекция зрения через год работы.
- Ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20. Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
Рост и развитие.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
А также:
- Оплата участия в профильных конференциях.
- Скидка 50% на изучение иностранных языков.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Спорт.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также:
- Бесплатные онлайн-тренировки с FITMOST.
- Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса:
- В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
- Вы сможете присоединиться к существующим командам или собрать свою.
И ещё
- Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
- Гибридный формат. Если для ваших задач не нужно быть в офисе каждый день, можно приходить 2-3 раза в неделю.
- Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
- Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Больше о нашей работе можно узнать из этих видео
