Senior Data Engineer

в Dodo Brands

300 000 —‍ 350 000 ₽/мес на руки

МоскваСанкт-ПетербургRemote

Москва, Санкт-Петербург, Россия

Специализация

Data Science

Уровень

Middle

Dodo Engineering — IT-подразделение международной компании Dodo Brands, развивающей 3 бренда:

Более 931 точки в 17 странах.

Цель нашей команды — сделать Dodo Brands data-driven компанией.

Data Engineering создает Data Platform — децентрализованную платформу данных для ML, data analytics, reporting и dashboarding. Наша конечная цель — дать IT такой инструмент, чтобы каждый мог загружать и пользоваться данными без участия команды дата инженеров.

В первую очередь мы ищем коллегу с бэкграундом в разработке. Нам важнее твое знание инженерных практик, опыт и системное мышление, чем количество лет в дата-инженерии.

Технологии/инструменты

PythonSparkDeltaLakeAzure Data ExplorerAzure EventHubsKafka ConnectGitHub ActionsMLflowSuperset

Batch и Structured Streaming на платформе Databricks.
Azure EventHubs (Kafka API).
Kafka Connect (Debezium).

Задачи

Проектирование модели данных детального слоя под бизнес-требования с оптимальным хранением данных.
Помощь другим командам в работе с данными, интеграциями, нашими инструментами, оптимизациями (центр экспертизы по работе с аналитическими данными).
MLOps: CI/CD для ML-проектов, создание тулинга для вывода ML-моделей в production.
Доработка Spark-коннекторов к Azure ресурсам, доработка Superset’а, написание платформенных библиотек.

Разработка инфраструктуры и инструментов для self-serve data platform:

Разработка ELT/ETL-инструмента.
CI/CD для пайплайнов.
Интеграция данных платформы с другими системам.
Автоматизация lineage, data quality.
Подготовка платформы к Data Mesh подходу.
Развертывание и обслуживание data-сервисов: Superset, Kafka Connect и т.д.

Ожидания

Уверенное владение одним из языков программирования: Python, Scala, Java.
Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
Знание Spark, Spark Streaming (у нас Structured Streaming).
Опыт с System design.
Опыт дизайна DWH.
Хорошие навыки в моделировании данных (мы используем Data Vault).

Будет плюсом:

Apache Kafka и/или RabbitMQ.
MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.).
Знание того, как писать и оптимизировать сложные SQL-запросы.
Умение проектировать дизайн распределенных систем.
Опыт MLOps.
Опыт работы с Hudi или Iceberg или Delta Lake.
Умение балансировать между MVP и собственным перфекционизмом.

Условия

Работа в офисе или удаленная работа.
Расширенная ДМС с первого рабочего дня.
Оплата профильных конференций, курсов, профессиональной литературы.
Партнерские программы (скидки на изучение английского языка Skyeng, 50% компенсация психологической помощи на платформе Alter).
Митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе.
Прокачка навыков публичных выступлений (сделаем из вас крутого спикера).
Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC).
Помощь в переезде (релокационный бонус).

Полезные ссылки

Наш рассказ об архитектуре платформы данных можно посмотреть на 3 митапе DE or DIE (есть ссылка на YouTube).
Наш техрадар.

Полина Семавина Recruiter

О компании Dodo Brands

Сфера

Продуктовая компания

Инвестиции

$50-100M

Размер

201 - 500

Dodo Brands — международная компания, развивающая три бренда (Додо Пицца, кофейни Дринкит и донерные Донер 42). Всем бизнесом управляет Dodo IS — симбиоз ERP, HRM и CRM-систем, а также основа для клиентских сайтов и мобильного приложения. 930+ точек в 17 странах, в 2022 году объем продаж составил ₽58 млрд (годовой прирост +45%).