Сбер

Senior NLP/PLP Researcher (GigaCode)

в Сбер

300 000 —‍ 600 000 ₽/мес на руки

📍 Москва (м. Кутузовская)Офис несколько дней в неделю
Специализация
Data Science
Уровень
Senior

Мы — команда GigaCode, разрабатываем и развиваем AI-ассистента для разработчика.

Решаем задачи по различным подходам в NLP и PLP, постоянно проводим ресёрч-эксперименты и обучаем новые SOTA LLM.

Из направлений сейчас: претрейн-моделей с нуля и дообучение, инструктивное обучение SFT/DPO/PPO для CodeChat, поиск и RAG, ускорение инференса, генерация тестов, мультиагентность, прототипирование плагинов для сред разработки (VSCode, PyCharm, IDEA). Целимся конкурировать с Copilot и TabNine. Уже сегодня наши модели помогают писать 80к строк кода ежедневно.

Подробнее о нашем продукте на сайте.

Также мы являемся авторами многих моделей для русского языка (ruBERT, ruRoBERTa, ruT5, RuGPT3, FRED-T5). Обучаем на кластере Кристофари, у нас много свободы в использовании GPU.

Канал нашей команды в телеграм.

Если у вас есть крутые идеи и большие амбиции в PLP и/или NLP-направлениях, то присоединяйтесь к нам, будем делать важнейшие исследования вместе!

Технологии/инструменты

PyTorchHugging FaceDeepSpeedFSDPtorch.distributedAccelerate

Обязанности

  • Дизайн экспериментов, формулировка гипотез для улучшения NLP/PLP-моделей и алгоритмов, планирование исследовательских экспериментов с выводами.
  • Проведение экспериментов, написание кода, подготовка датасетов и бенчмарков, проведение замеров и анализ результатов.
  • Обучение моделей на кластере, включая обучение моделей с нуля и дообучение опенсорс-моделей.
  • Взаимодействие с прод-командой для интеграции моделей и алгоритмов в продакшн. Взаимодействуем с командой инженеров SberWorks.
  • Ориентированность на SOTA, читать пейперы, быть в курсе последних исследований, предлагать новые смелые подходы и направления.

Требования

  • Хорошие теоретические знания в DL, с упором в современный NLP и трансформеры.
  • Умение формулировать эксперименты с научной строгостью, обосновывать их, проводить самостоятельно и делать выводы.
  • Опыт обучения трансформеров.
  • Опыт распределенного обучения моделей (DeepSpeed, FSDP, torch.distributed, Accelerate).
  • Знание стандартных библиотек для DL и NLP (PyTorch и библиотеки Hugging Face).
  • Увлеченность NLP/PLP и DL.
  • Опыт работы 3-6 лет.

Будет плюсом

  • Опыт работы на похожей позиции.
  • Участие в соревнованиях по ML.
  • Сабмиты на лидербордах по NLP/PLP.
  • Публикации.
  • Обучение моделей на кластере.

Условия

  • Комфортный современный офис рядом с м. Кутузовская.
  • Гибридный формат работы.
  • Ежегодный пересмотр зарплаты, годовая премия.
  • Корпоративный спортзал и зоны отдыха.
  • Система обучения для профессионального и карьерного развития.
  • Расширенный полис ДМС с первого дня работы и страхование для семьи.
  • Программа ипотеки для сотрудников.
  • Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
  • Вознаграждение за рекомендацию друзей в команду Сбера.
Команда HR Сбер рекрутер
Сбер

О компании Сбер

Сфера
Банки / Финтех
Размер
1001+

Сбербанк — крупнейший банк в России, Центральной и Восточной Европе, один из ведущих международных финансовых институтов. Самый дорогой российский бренд и самый сильный банковский бренд в мире по версии Brand Finance.

Похожие вакансии

700 000 – 900 000 ₽/мес на руки
📍 Москва, можно удалённо из РФ
550 000 – 800 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю
450 000 – 600 000 ₽/мес на руки
📍 Москва (м. Кропоткинская), Санкт-Петербург (м. Адмиралтейская), Екатеринбург, Сочи, полная удалёнка
400 000 – 500 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю
400 000 – 600 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю