LLM-разработчик (Фреймворк распределённого обучения)

Наша команда делает единые для всего Яндекса системы, чтобы обучать LLM на огромных вычислительных масштабах компании. Если вы любите решать ещё не решённые в индустрии технические задачи — эта вакансия для вас!

Мы отвечаем за ML-инструменты и инфраструктуру всего Яндекса, а нашими сервисами пользуется большинство ML-разработчиков Яндекса. Это команды, которые обучают модели для Алисы, Нейро, Шедеврума.

Сейчас мы приступили к новой большой задаче: разработать эффективный и удобный фреймворк для работы с LLM, от гигантских претрейнов до дообучения моделей под конкретные продуктовые задачи. Мы ищем Research-инженера, готового вместе с нами создавать этот фреймворк и находиться на фронтире индустрии. Яндекс — одно из немногих мест в мире, где у вас будет возможность поработать на таких масштабах!

Какие задачи вас ждут

Внедрять и исследовать новейшие подходы к эффективному обучению LLM

Вот какие вызовы в работе над фреймворком стоят перед нашей командой — и будут стоять перед вами:

• Добиться state-of-the-art эффективности всех существующих методов параллельного обучения на 10k+ GPU.
• Создать механизмы, которые автоматически дают высокую утилизацию для различных NLP-задач без необходимости сложного тюнинга. Например, с помощью ML for Systems.
• Сделать фреймворк удобным и расширяемым как для опытных специалистов, так и для команд, которые хотят внедрить LLM в свои продукты.

Мы ждем, что вы

• Отлично владеете Python, знаете лучшие инженерные практики.
• Работали с PyTorch (JAX или TensorFlow тоже подойдут).
• Понимаете, как устроены современные LLM и как решать типичные NLP-задачи.
• Знаете про современные подходы параллелизма в обучении моделей или готовы быстро с этим разобраться.

Будет плюсом, если вы

• Интересуетесь или занимались ML/DL-исследованиями.
• Понимаете, как устроены GPU и коммуникации между ними.
• Умеете работать с большим количеством неизвестных.

Что мы предлагаем

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.