Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Lead Data Engineer (B2B Data)

в Dodo Brands

350 000 —‍ 460 000 ₽/мес на руки

Полная удалёнка

Специализация

Data Engineering

Уровень

Lead

Технологии/инструменты

Python/Scala/JavaSparkSpark StreamingStructured Streaming

Dodo Engineering — IT-подразделение международной компании Dodo Brands, развивающей 2 бренда:

Более 1000 точек в 17 странах.

Data team:

Мы разрабатываем платформу данных для it-команд в Dodo. Хотим сделать Dodo Brands data-driven компанией.

Мы в поиске Data Engineer, который возьмёт на себя ответственность за процессы дата-инжиниринга в самом крупном домене данных, выстроит архитектуру и будет внедрять новые процессы. И будет развивать крупнейший домен данных в Dodo Brands. Нам важно выстроить процессы внутри домена и давать бизнесу быстро актуальные данные.

Cтек команды

У нас современная платформа, которая базируется на облачных сервисах Azure Databricks.
Данные загружаем с помощью Debezium или принимаем события в Event Hub (Kafka).
Храним в Delta Lake, всё раскладываем по слоям и Data Vault.
Витрины храним в Kusto, а визуализация в Superset.
Основной язык — Python.

Про продукт и команду

У нас есть крутая Data Platform и c помощью неё любой в компании может легко пользоваться данными для принятия решений. Data Platform решает задачи от построения простых дашбордов до создания и выкатки в продакшн Deep Learning моделей.
Наша главная цель — сделать так, чтобы платформа помогала командам постоянно внедрять инновации, развивать и создавать прорывные продукты.
Внутри Data Platform есть множество доменов данных, где аналитики работают самостоятельно. Сейчас мы в поиске Data Engineer, который возьмёт на себя ответственность за самый крупный домен данных — отчётность для партнёров.

Чем предстоит заниматься

Сейчас есть несколько крупных проблем, которые предстоит решить:

Составить стратегию и техническое развитие домена данных совместно с Product Owner и командой.
Повысить точность данных, разработать и внедрить стратегию Data Governance.
Помочь аналитикам с разработкой мастер-данных в Gold слое.
Помимо этого, есть и регулярные задачи:
- Разработка ETL/ETL-пайплайнов и оптимизация детального слоя.
- CI/CD для пайплайнов.
- Интеграция данных платформы с другими системам.
- Помощь аналитикам в домене в использовании Data Platform.

Для нас важно

Опыт лидерства дата-команд и изменения процессов.
Подтверждённый опыт построения процессов Data Governance.
Уверенное владение одним из языков программирования: Python, Scala, Java.
Опыт построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
Spark, Spark Streaming (у нас Structured Streaming).
System Design.
Дизайн DWH и хорошие навыки в моделировании данных (мы используем Data Vault).

Будет плюсом:

Apache Kafka и/или RabbitMQ.
MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.).
Умение писать и оптимизировать сложные SQL-запросы.
Дизайн распределенных систем.
Опыт MLOps.
Опыт работы с Hudi или Iceberg или Delta Lake.
Умение балансировать между MVP и собственным перфекционизмом.

Полезные материалы

Полина Семавина Recruiter

О компании Dodo Brands

Сфера

Продуктовая компания

Инвестиции

$50-100M

Размер

201 - 500

Dodo Brands — компания, которая развивает такие бренды, как Додо Пицца, кофейни Дринкит, IT-подразделение Dodo Engineering. Мы родом из России, но наши амбиции глобальны. Сегодня у нас более 1260 точек в 24 странах мира, включая Европейские, Азиатские страны и Нигерию.

Мы делаем ставку на IT и создаём Dodo IS — единую информационную систему, включающую клиентский сайт, мобильное приложение, интерфейсы контакт-центра, трекинг заказов на кухне, учёт продуктов, аналитические инструменты и многое другое.