Разработчик Inference Server на C++ (ML-инфраструктура)

Наша команда разрабатывает сервисы, которые позволяют быстро поднять подсчёт нейронных моделей и использовать их в продакшне. Это может быть лёгкая сетка на CPU или большой трансформер на миллиарды параметров, который нужно считать на сотнях тысяч RPS за 30 мс в Q99. Помимо этого, нужно, чтобы новые сервисы поднимались легко, в них сразу было многоуровневое кеширование, мониторинги, доставка и дообучение моделек и многое другое.

Мы должны делать так, чтобы

• ML-инженеры любого уровня и в любой части Яндекса могли использовать этот сервис в своём проекте буквально «по кнопке».
• Ресёрч новых моделей и доставка их в эксперимент и продакшн были максимально простыми и быстрыми.
• Запросы выполнялись быстро, а CPU/GPU использовались с наибольшей утилизацией.

О нашей команде

Наша команда — это служба из 10 человек, которая сейчас масштабируется для амбициозных целей.

Часть команды занимается базовой технологией и отвечает за внедрение сервиса на всю компанию — делает так, чтобы сервис работал эффективно и удобно для разных команд. Другая часть команды занимается сервисами инференса в рекламе, где огромные нагрузки (сотни тысяч RPS), много железа (сотни тысяч ядер, сотни GPU) и прямое влияние на зарабатывание денег.

Все ребята из сильнейших вузов, многие окончили ШАД или прямо сейчас там учатся. Большая часть команды ходит в офис в Москве, так как мы любим не только решать задачи, но и находиться в кругу заинтересованных людей.

Мы любим сходить в бар вечерком, поиграть в настольные игры или просто съесть пиццу после удачного запуска. Периодически ездим в кампусы, обсуждаем технологии. Если вы любите делать сложные ответственные проекты в компании сильных и заинтересованных людей, то приходите к нам.

Какие задачи вас ждут

• Развитие коробочного решения для инференса.

Сейчас у нас реализована core-часть сервиса, но, чтобы сделать решение по-настоящему удобным, предстоит реализовать множество таких идей и наработок, как динамическая балансировка, многоуровневый in-memory/disk/remote-кеш, динамические конфиги. Также вам нужно будет развивать инструменты для поднятия сервиса в облаке.

• Помощь с внедрением решения по всей компании.

По всей компании не менее 20 команд, занимающихся эксплуатацией ML-моделей. Чтобы сделать решение удобным для всех и позволить быстро проводить эксперименты, необходимо постоянно взаимодействовать с нашими заказчиками и реализовывать необходимый для них функционал, например новые бэкенды для применения нейросетей, или оказывать консультацию по поднятию новых инсталляций.

• Сравнение с общемировыми аналогами.

Для создания хорошего и конкурентного решения нам надо всегда смотреть по сторонам и перенимать лучшие практики и идеи. Для этого мы занимаемся качественным анализом аналогичных решений, как для кода инференса (Triton Inference Server, KServe), так и для поднятия сервиса в системах деплоя (Seldon Core, Kubeflow). А также нам необходимо следить за трендами инференса и заранее готовить инфраструктуру для новых размеров и типов моделей.

Мы ждем, что вы

• Имеете опыт в программировании не менее двух лет.
• Хорошо владеете C++ или готовы быстро разобраться.
• Знаете про Concurrency на C++ или Linux.

Будет плюсом, если вы

• Разрабатывали высоконагруженные сервисы на C++.
• Разворачивали и эксплуатировали сервисы для ML Inference на CPU/GPU.
• Слышали про Triton, TRT-LLM.
• Знакомы с устройством нейронных моделей, в свободном режиме следите за новинками в области.
• Знаете системы Unix/Linux (устройство процессов, файловой системы, системных вызовов и др.).

Условия

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или на онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

А также

• Оплата участия в профильных конференциях.
• Скидка 50% на изучение иностранных языков.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И ещё

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.