Мы разрабатываем платформу данных для it-команд в Dodo. Хотим сделать Dodo Brands data-driven компанией.
Мы в поиске Data Engineer, который возьмёт на себя ответственность за процессы дата-инжиниринга в самом крупном домене данных, выстроит архитектуру и будет внедрять новые процессы. И будет развивать крупнейший домен данных в Dodo Brands. Нам важно выстроить процессы внутри домена и давать бизнесу быстро актуальные данные.
У нас современная платформа, которая базируется на облачных сервисах Azure Databricks.
Данные загружаем с помощью Debezium или принимаем события в Event Hub (Kafka).
Храним в Delta Lake, всё раскладываем по слоям и Data Vault.
Витрины храним в Kusto, а визуализация в Superset.
Основной язык — Python.
Про продукт и команду
У нас есть крутая Data Platform и c помощью неё любой в компании может легко пользоваться данными для принятия решений. Data Platform решает задачи от построения простых дашбордов до создания и выкатки в продакшн Deep Learning моделей.
Наша главная цель — сделать так, чтобы платформа помогала командам постоянно внедрять инновации, развивать и создавать прорывные продукты.
Внутри Data Platform есть множество доменов данных, где аналитики работают самостоятельно. Сейчас мы в поиске Data Engineer, который возьмёт на себя ответственность за самый крупный домен данных — отчётность для партнёров.
Чем предстоит заниматься
Сейчас есть несколько крупных проблем, которые предстоит решить:
Составить стратегию и техническое развитие домена данных совместно с Product Owner и командой.
Повысить точность данных, разработать и внедрить стратегию Data Governance.
Помочь аналитикам с разработкой мастер-данных в Gold слое.
Помимо этого, есть и регулярные задачи:
Разработка ETL/ETL-пайплайнов и оптимизация детального слоя.
CI/CD для пайплайнов.
Интеграция данных платформы с другими системам.
Помощь аналитикам в домене в использовании Data Platform.
Для нас важно
Опыт лидерства дата-команд и изменения процессов.
Подтверждённый опыт построения процессов Data Governance.
Уверенное владение одним из языков программирования: Python, Scala, Java.
Опыт построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
Spark, Spark Streaming (у нас Structured Streaming).
System Design.
Дизайн DWH и хорошие навыки в моделировании данных (мы используем Data Vault).
Будет плюсом:
Apache Kafka и/или RabbitMQ.
MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.).
Умение писать и оптимизировать сложные SQL-запросы.
Дизайн распределенных систем.
Опыт MLOps.
Опыт работы с Hudi или Iceberg или Delta Lake.
Умение балансировать между MVP и собственным перфекционизмом.
Dodo Brands — международная компания, развивающая три бренда (Додо Пицца, кофейни Дринкит и донерные Кебстер). Всем бизнесом управляет Dodo IS — симбиоз ERP, HRM и CRM-систем, а также основа для клиентских сайтов и мобильного приложения. 930+ точек в 18 странах, в 2022 году объем продаж составил ₽58 млрд (годовой прирост +45%).
