Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Senior Data Engineer

в Dodo Brands

300 000 —‍ 350 000 ₽/мес на руки

📍 Санкт-ПетербургМоскваПолная удалёнка

Специализация

Data Science

Уровень

Middle

Технологии/инструменты

PythonSparkDeltaLakeAzure Data ExplorerAzure EventHubsKafka ConnectGitHub ActionsMLflowSuperset

Dodo Engineering — IT-подразделение международной компании Dodo Brands, развивающей 3 бренда:

Более 931 точки в 18 странах.

Цель нашей команды — сделать Dodo Brands data-driven компанией.

Стек команды

Batch и Structured Streaming на платформе Databricks.
Azure EventHubs (Kafka API).
Kafka Connect (Debezium).

Data Engineering создает Data Platform — децентрализованную платформу данных для ML, data analytics, reporting и dashboarding. Наша конечная цель — дать IT такой инструмент, чтобы каждый мог загружать и пользоваться данными без участия команды дата инженеров.

В первую очередь мы ищем коллегу с бэкграундом в разработке. Нам важнее твое знание инженерных практик, опыт и системное мышление, чем количество лет в дата-инженерии.

Задачи

Проектирование модели данных детального слоя под бизнес-требования с оптимальным хранением данных.
Помощь другим командам в работе с данными, интеграциями, нашими инструментами, оптимизациями (центр экспертизы по работе с аналитическими данными).
MLOps: CI/CD для ML-проектов, создание тулинга для вывода ML-моделей в production.
Доработка Spark-коннекторов к Azure ресурсам, доработка Superset’а, написание платформенных библиотек.

Разработка инфраструктуры и инструментов для self-serve data platform:

Разработка ELT/ETL-инструмента.
CI/CD для пайплайнов.
Интеграция данных платформы с другими системам.
Автоматизация lineage, data quality.
Подготовка платформы к Data Mesh подходу.
Развертывание и обслуживание data-сервисов: Superset, Kafka Connect и т.д.

Ожидания

Уверенное владение одним из языков программирования: Python, Scala, Java.
Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
Знание Spark, Spark Streaming (у нас Structured Streaming).
Опыт с System design.
Опыт дизайна DWH.
Хорошие навыки в моделировании данных (мы используем Data Vault).

Будет плюсом:

Apache Kafka и/или RabbitMQ.
MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.).
Знание того, как писать и оптимизировать сложные SQL-запросы.
Умение проектировать дизайн распределенных систем.
Опыт MLOps.
Опыт работы с Hudi или Iceberg или Delta Lake.
Умение балансировать между MVP и собственным перфекционизмом.

Условия

Работа в офисе или удаленная работа.
Расширенная ДМС с первого рабочего дня.
Оплата профильных конференций, курсов, профессиональной литературы.
Партнерские программы (скидки на изучение английского языка Skyeng, 50% компенсация психологической помощи на платформе Alter).
Митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе.
Прокачка навыков публичных выступлений (сделаем из вас крутого спикера).
Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC).
Помощь в переезде (релокационный бонус).

Полезные ссылки

Наш рассказ об архитектуре платформы данных можно посмотреть на 3 митапе DE or DIE (есть ссылка на YouTube).
Наш техрадар.

Полина Семавина Recruiter

О компании Dodo Brands

Сфера

Продуктовая компания

Инвестиции

$50-100M

Размер

201 - 500

Dodo Brands — компания, которая развивает такие бренды, как Додо Пицца, кофейни Дринкит, IT-подразделение Dodo Engineering. Мы родом из России, но наши амбиции глобальны. Сегодня у нас более 1260 точек в 24 странах мира, включая Европейские, Азиатские страны и Нигерию.

Мы делаем ставку на IT и создаём Dodo IS — единую информационную систему, включающую клиентский сайт, мобильное приложение, интерфейсы контакт-центра, трекинг заказов на кухне, учёт продуктов, аналитические инструменты и многое другое.