Сбер

Senior NLP/PLP Researcher (GigaCode)

в Сбер

300 000 —‍ 600 000 ₽/мес на руки

📍 Москва (м. Кутузовская)Санкт-Петербург (м. Новочеркасская)Офис несколько дней в неделю
Специализация
Data Science / Machine Learning
Уровень
Senior

В команду разработки GigaCode (AI-ассистент разработчика) ищем талантливых исследователей.

Мы решаем задачи по различным подходам в NLP и PLP (Programming Language Processing), постоянно проводим ресёрч-эксперименты и обучаем новые SOTA LLM. Из направлений сейчас: претрейн моделей с нуля и дообучение, инструктивное обучение SFT/DPO/PPO для CodeChat, поиск и RAG, ускорение инференса, генерация тестов, мультиагентность, прототипирование плагинов для сред разработки (VSCode, PyCharm, IDEA). Целимся конкурировать с Copilot и TabNine. Уже сегодня наши модели помогают писать 80к строк кода ежедневно. Подробнее о нашем продукте на сайте.

Также мы являемся авторами многих моделей для русского языка (ruBERT, ruRoBERTa, ruT5, RuGPT3, FRED-T5). Обучаем на кластере Кристофари, у нас много свободы в использовании GPU. Канал нашей команды в телеграм.

Если у вас есть крутые идеи и большие амбиции в PLP- и/или NLP-направлениях, то присоединяйтесь к нам, будем делать важнейшие исследования вместе!

Технологии/инструменты

DeepSpeedFSDPtorch.distributedAcceleratePyTorchHugging Face

Предстоящие задачи

  • Дизайн экспериментов, формулировка гипотез для улучшения NLP/PLP-моделей и алгоритмов, планирование исследовательских экспериментов с выводами.
  • Проведение экспериментов, написание кода, подготовка датасетов и бенчмарков, проведение замеров и анализ результатов.
  • Обучение моделей на кластере, включая обучение моделей с нуля и дообучение опенсорс-моделей.
  • Взаимодействие с прод-командой для интеграции моделей и алгоритмов в продакшн. Взаимодействуем с командой инженеров SberWorks.
  • Ориентирование на SOTA, чтение пейперов, быть в курсе последних исследований, предложение новых смелых подходов и направлений.

Мы ожидаем

  • Опыт обучения трансформеров.
  • Умение формулировать эксперименты с научной строгостью, обосновывать их, проводить самостоятельно и делать выводы.
  • Опыт распределенного обучения моделей (DeepSpeed, FSDP, torch.distributed, Accelerate).
  • Знание стандартных библиотек для DL и NLP (PyTorch и библиотеки Hugging Face).
  • Увлеченность NLP/PLP и DL.
  • Опыт работы 3–6 лет.

Дополнительно плюсом будет

  • Участие в соревнованиях по ML.
  • Сабмиты на лидербордах по NLP/PLP.
  • Наличие публикаций.
  • Опыт обучения моделей на кластере.

Условия

  • Комфортный современный офис рядом с м. Кутузовская.
  • Возможность выбрать удобный график — офис/гибрид.
  • Ежегодный пересмотр зарплаты и годовая премия.
  • Корпоративный спортзал и зоны отдыха.
  • Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
  • Расширенный ДМС, льготное страхование для семьи.
  • Ипотека для сотрудников выгоднее до 4%.
  • Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
  • Вознаграждение за рекомендацию друзей в команду Сбера.
Команда HR Сбер рекрутер
Сбер

О компании Сбер

Сфера
Банки / Финтех
Размер
1001+

Сбербанк — крупнейший банк в России, Центральной и Восточной Европе, один из ведущих международных финансовых институтов. Самый дорогой российский бренд и самый сильный банковский бренд в мире по версии Brand Finance.

Похожие вакансии

700 000 – 900 000 ₽/мес на руки
📍 Москва, можно удалённо из РФ
550 000 – 800 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю
450 000 – 600 000 ₽/мес на руки
📍 Москва (м. Кропоткинская), Санкт-Петербург (м. Адмиралтейская), Екатеринбург, Сочи, полная удалёнка
400 000 – 500 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю
400 000 – 600 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю