Вы можете присоединиться к команде, которая занимается генеративной аналитикой и исследованиями того, как лучше решать существующие задачи с помощью RAG.
Вы будете: заниматься поиском и внедрением передовых подходов к работе с данными с использованием ИИ. Исследовать, как применение передовых фреймворков для работы с RAG и LLM в целом влияет на результат. Создавать и поддерживать эффективные ETL-пайплайны, чтобы поставлять в систему свежие данные для работы с ними с помощью RAG. Предлагать улучшения и варианты оптимизации существующей инфраструктуры, чтобы работать еще быстрее и с большим количеством данных.
Обязанности
- Разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства.
- Разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования для RAG.
- Проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи, связанные с RAG.
- Применять машинное обучение и искусственный интеллект для улучшения результатов работы.
- Поддерживать корректную работу системы — мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых.
Требования
- Умение проектировать DWH, Data Lake, Data Management Platform.
- Опыт построения и развития высоконагруженных систем.
- Опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB — 1PB+).
- Продвинутый уровень владения Python и SQL.
- Опыт работы с движками для распределенной обработки данных (Spark, Trino).
- Опыт работы с очередями сообщений (Kafka, RabbitMQ).
- Опыт работы с MPP базами данных и понимание их внутреннего устройства (ClickHouse, Greenplum, Vertica).
- Базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD).
Условия
- Комфортный современный офис рядом с м. Кутузовская.
- Гибридный формат работы.
- Ежегодный пересмотр зарплаты, годовая премия.
- Корпоративный спортзал и зоны отдыха.
- Система обучения для профессионального и карьерного развития.
- Расширенный полис ДМС с первого дня работы и страхование для семьи.
- Программа ипотеки для сотрудников.
- Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
- Вознаграждение за рекомендацию друзей в команду Сбера.
