Сбер

NLP Engineer (GigaChat Pretrain)

в Сбер

300 000 —‍ 600 000 ₽/мес на руки

Можно удалённо из РФ
Специализация
Data Scientist & Machine Learning
Уровень
Senior

Технологии/инструменты

PythonPyTorch

Мы в GigaChat делаем core-технологию генеративной языковой модели: она пишет тексты, генерирует изображения, пишет код, отвечает на вопросы и ведёт диалоги.

Прошлой осенью мы выпустили сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики — в статье на Habr). Зимой выложили в открытый доступ одну из наших MoE-моделей. И на этом не остановились — двигаемся дальше!

Сейчас у нас фокус в несколько направлений:

  1. Исследования и эксперименты.
  • Стабилизация и развитие архитектур (новые виды attention, улучшение тестового стенда изменений).
  • Методы улучшения обучения (оптимизация, лоссы и режимы вроде FIM/MTP, балансировка MoE).
  • Скейлинг-законы (для гиперпараметров, качества и стоимости).
  • Постоянный разбор свежих статей и идей индустрии.
  1. Инфраструктура и параллельные тренировки.
  • 5-D параллелизм, ускорение мультимодальных и гигантских MoE-моделей на больших кластерах.
  1. Фреймворк распределённого обучения.
  • Разработка GigaFSDP, эксперименты с FP8/mixed-precision, устойчивость и эффективность обучения на больших масштабах.
  1. Низкоуровневые оптимизации.
  • Оптимизация операций на уровне CUDA/triton ядер, улучшение производительности NCCL, профилирование и устранение узких мест.
  1. Качество и метрики.
  • Развитие оценки GigaChat: от международных олимпиадных задач до метрик, специфичных для русского языка.

Ищем NLP Engineer, с которым будем делать GigaChat умнее. Для экспериментов у нас — кластер с большим числом A100/H100.

Чем предстоит заниматься

  • Доводить качество на русском до уровня ChatGPT и выше.
  • Придумывать и проверять идеи, которые дают практический выигрыш.
  • Помогать решать задачи внутренних клиентов Сбера — с прицелом на внешних пользователей.
  • Следить за индустрией: читать статьи, быстро проверять гипотезы, делиться результатами.

Что важно

  • Уверенный Python и PyTorch.
  • База по алгоритмам и математике (линейная алгебра, оптимизация, вероятности).
  • Опыт обучения DL-моделей: от «просто моделей» до больших.
  • Теоретическое понимание алгоритмов распределенного обучения.
  • Представление о текущем ландшафте LLM и трендах.

Плюсом будет:

  • Опыт с распределённым обучением (DDP/FSDP/параллелизмы), CUDA/NCCL/профилирование, MoE/FP8, мультимодальные модели, построение метрик качества.

Даже если у тебя нет опыта с LLM, но ты много занимался NLP исследованиями или инженерными оптимизациями — не стесняйся откликнуться!

Формат и условия

  • Удалённо по России.

  • Возможность оформления в аккредитованную IT-компанию.

  • Годовая премия по итогам работы до 6 окладов.
  • Регулярный пересмотр зарплат.
  • Корпоративный спортзал и зоны отдыха.
  • Более 400 программ СберУниверситета для роста.
  • Программа адаптации и помощь руководителя на старте.
  • Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы.
  • Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа.
  • Ипотека для сотрудников по дисконтной программе.
  • СберПрайм+ и скидки у партнёров.
  • Бонус за рекомендации в команду.
Команда HR Сбер рекрутер
Сбер

О компании Сбер

Сфера
Банки / Финтех
Размер
1001+

Сбербанк — крупнейший банк в России, Центральной и Восточной Европе, один из ведущих международных финансовых институтов. Самый дорогой российский бренд и самый сильный банковский бренд в мире по версии Brand Finance.

Похожие вакансии

7 500 – 10 000 $/мес на руки
Полная удалёнка
7 500 – 9 000 $/мес на руки
Полная удалёнка
470 000 – 480 000 ₽/мес на руки
Можно удалённо из РФ
450 000 – 650 000 ₽/мес на руки
📍 Москва (м. Алексеевская), полная удалёнка
435 000 – 525 000 ₽/мес на руки
📍 Москва (м. Белорусская), полная удалёнка