Компания больше не ищет сотрудника. Посмотрите похожие предложения
Разработчик С++ (Инференс нейросетей)
в Т-Банк
от 300 000 ₽/мес до налогов, совокупно
Технологии/инструменты
Развиваем эффективный инференс LLM-моделей и формируем команду, которая займется развитием решения для сервинга больших языковых моделей. В этом году мы планируем запуск большого числа продуктов на основе LLM. Наши пользователи — более 40 миллионов клиентов Т-Банка.
Основной технический вызов — научиться выжимать максимум в генерации токенов в секунду с одной GPU при должном уровне качества. И делать это максимально эффективно с точки зрения потребления вычислительных ресурсов.
Вам и команде предстоит оптимизировать распределенный инференс и решать инфровые проблемы — такие как скорость обновления моделей на продакшене, размер которых может достигать сотен гигабайт.
Ищем специалиста, который готов стать экспертом в инференсе LLM-моделей. Вы будете искать практики ускорения, оценивать их применимость и реализовывать новые подходы в сервинге.
Что нужно делать
- Проектировать и разрабатывать сервинг для LLM-моделей.
- Плотно работать с ML-инженерами при внедрении SOTA-моделей и оптимизации инференса.
- Искать, оценивать и внедрять лучшие практики с развивающегося в этом направлении рынка.
- Заниматься исследовательской разработкой: от paper до релиза в продакшен.
- Вникать в архитектуру нейросетей, которые выбирают ML-специалисты.
- Взаимодействовать с инфраструктурными командами.
Примеры задач, в которых предстоит разбираться:
Будет много интересных задач и челленджей: RPS, требования по отказоустойчивости и производительности. У нас вы сможете научиться реализовывать все нужные подходы в собственном решении и придумывать свои.
Ожидания
- Хорошее знание С/С++.
- Есть опыт разработки на Python, готовы попробовать Go.
- Есть навыки параллельной и многопоточной разработки на CUDA.
- Есть опыт разработки бэкендов под *nix.
Будет плюсом:
- Опыт написания Extensions к Triton Inference Server.
Мы предлагаем
- Работу в офисе или удаленно — по договоренности.
- Платформу обучения и развития «Т-Банк Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии.
- Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких.
- Возможность работы в аккредитованной ИТ-компании.
- Линейку льготных тарифов на продукты Т-Банка.
- Частичную компенсацию затрат на спорт.
- Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами.
- Три дополнительных дня отпуска в год.
- Достойную зарплату — обсудим ее на собеседовании.
О компании Т-Банк
Т-Банк — онлайн-экосистема, основанная на финансовых и лайфстайл-услугах. Клиентами Т‑Банка стали 50 млн человек по всей России.