Лид оптимизации инференса (Алиса)

Привет, я Гриша. Моя команда занимается разработкой инфраструктуры и рантайма центральной части Алисы, в том числе рантайма инференса LLM. В последнее время активно разрабатываем агентскую платформу. Присоединяйтесь! Григорий Костин. Руководитель службы инфраструктуры диалогового движка Алисы

Алиса с каждым годом становится умнее и помогает пользователям решать всё более сложные задачи. Количество наших пользователей тоже неуклонно растёт. При этом мы всё чаще используем большие языковые модели (LLM), которые потребляют значительное число дорогостоящих ресурсов. Развитие агентов кратно увеличивает число обращений в LLM на каждый пользовательский запрос. Поэтому задача выжать максимум перформанса на имеющемся железе — как нельзя более актуальна.

На разных поверхностях различается профиль нагрузки и может быть задействован разный стек моделей. Кроме того, разные поверхности по-разному ставят требования к скорости ответа: например, на устройствах нужна максимальная скорость ответа при меньшей длине ответа, в мобильных приложениях наоборот — важен более развёрнутый ответ при разумной скорости.

Какие задачи вас ждут

• Руководство командой разработчиков.

Мы собираем новую команду опытных разработчиков именно под указанные задачи. Вы будете непосредственно руководить командой из 3-4 инженеров: технически направлять команду, проектировать архитектуру и планировать задачи.

• Ускорение и оптимизация инференса LLM.

В Алисе используются языковые модели разных размеров и архитектур. Необходимо применять их эффективно и искать наиболее подходящие конфигурации под каждую задачу. Вам предстоит заниматься увеличением RPS на карту, при этом сохраняя стабильность сервиса под нагрузкой. Это могут быть как архитектурные решения: кэши, каскады, эвристики, так и алгоритмические, и даже железные.

• Исследование перспективных подходов и фич для инференса.

Необходимо следить за bleeding-edge-технологиями и своевременно внедрять их. Вы будете исследовать фичи, читать статьи, изучать и испытывать новые подходы, замерять их на разных конфигурациях железа. Важно понимать, какие решения могут дать существенный прирост и каковы границы их применимости.

• Поддержка рантайма инференса.

Вам предстоит писать высоконагруженные сервисы, которые будут обрабатывать десятки тысяч запросов в секунду. Важно, чтобы, как и любой компонент рантайма, LLM-сервисы были отказоустойчивыми, поддерживаемыми и легко масштабировались.

Мы ждем, что вы

• Имеете опыт руководства командой разработчиков.
• Уверенно владеете C++.
• Работали с высоконагруженными сервисами.
• Знаете, как устроен инференс LLM.
• Занимались оптимизациями.
• Готовы заниматься RnD и внедрять перспективные решения.

Будет плюсом, если вы

• Занимались ML, в частности DL.
• Работали с одним или несколькими из фреймворков для инференса: tensorrt llm, sglang, vllm.

Что мы предлагаем

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.