Компания больше не ищет сотрудника. Посмотрите похожие предложения
Lead Data Engineer (B2B Data)
в Dodo Brands
350 000 — 460 000 ₽/мес на руки
Технологии/инструменты
Dodo Engineering — IT-подразделение международной компании Dodo Brands, развивающей 2 бренда:
Более 1000 точек в 17 странах.
Data team:
Мы разрабатываем платформу данных для it-команд в Dodo. Хотим сделать Dodo Brands data-driven компанией.
Мы в поиске Data Engineer, который возьмёт на себя ответственность за процессы дата-инжиниринга в самом крупном домене данных, выстроит архитектуру и будет внедрять новые процессы. И будет развивать крупнейший домен данных в Dodo Brands. Нам важно выстроить процессы внутри домена и давать бизнесу быстро актуальные данные.
Cтек команды
- У нас современная платформа, которая базируется на облачных сервисах Azure Databricks.
- Данные загружаем с помощью Debezium или принимаем события в Event Hub (Kafka).
- Храним в Delta Lake, всё раскладываем по слоям и Data Vault.
- Витрины храним в Kusto, а визуализация в Superset.
- Основной язык — Python.
Про продукт и команду
- У нас есть крутая Data Platform и c помощью неё любой в компании может легко пользоваться данными для принятия решений. Data Platform решает задачи от построения простых дашбордов до создания и выкатки в продакшн Deep Learning моделей.
- Наша главная цель — сделать так, чтобы платформа помогала командам постоянно внедрять инновации, развивать и создавать прорывные продукты.
- Внутри Data Platform есть множество доменов данных, где аналитики работают самостоятельно. Сейчас мы в поиске Data Engineer, который возьмёт на себя ответственность за самый крупный домен данных — отчётность для партнёров.
Чем предстоит заниматься
Сейчас есть несколько крупных проблем, которые предстоит решить:
- Составить стратегию и техническое развитие домена данных совместно с Product Owner и командой.
- Повысить точность данных, разработать и внедрить стратегию Data Governance.
- Помочь аналитикам с разработкой мастер-данных в Gold слое.
-
Помимо этого, есть и регулярные задачи:
- Разработка ETL/ETL-пайплайнов и оптимизация детального слоя.
- CI/CD для пайплайнов.
- Интеграция данных платформы с другими системам.
- Помощь аналитикам в домене в использовании Data Platform.
Для нас важно
- Опыт лидерства дата-команд и изменения процессов.
- Подтверждённый опыт построения процессов Data Governance.
- Уверенное владение одним из языков программирования: Python, Scala, Java.
- Опыт построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
- Spark, Spark Streaming (у нас Structured Streaming).
- System Design.
- Дизайн DWH и хорошие навыки в моделировании данных (мы используем Data Vault).
Будет плюсом:
- Apache Kafka и/или RabbitMQ.
- MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.).
- Умение писать и оптимизировать сложные SQL-запросы.
- Дизайн распределенных систем.
- Опыт MLOps.
- Опыт работы с Hudi или Iceberg или Delta Lake.
- Умение балансировать между MVP и собственным перфекционизмом.
Полезные материалы
О компании Dodo Brands
Dodo Brands — компания, которая развивает такие бренды, как Додо Пицца, кофейни Дринкит, IT-подразделение Dodo Engineering. Мы родом из России, но наши амбиции глобальны. Сегодня у нас более 1260 точек в 24 странах мира, включая Европейские, Азиатские страны и Нигерию.
Мы делаем ставку на IT и создаём Dodo IS — единую информационную систему, включающую клиентский сайт, мобильное приложение, интерфейсы контакт-центра, трекинг заказов на кухне, учёт продуктов, аналитические инструменты и многое другое.