Компания больше не ищет сотрудника. Посмотрите похожие предложения
Senior Data Engineer
в Dodo Brands
300 000 — 350 000 ₽/мес на руки
Технологии/инструменты
Dodo Engineering — IT-подразделение международной компании Dodo Brands, развивающей 3 бренда:
Более 931 точки в 18 странах.
Цель нашей команды — сделать Dodo Brands data-driven компанией.
Стек команды
- Batch и Structured Streaming на платформе Databricks.
- Azure EventHubs (Kafka API).
- Kafka Connect (Debezium).
Data Engineering создает Data Platform — децентрализованную платформу данных для ML, data analytics, reporting и dashboarding. Наша конечная цель — дать IT такой инструмент, чтобы каждый мог загружать и пользоваться данными без участия команды дата инженеров.
В первую очередь мы ищем коллегу с бэкграундом в разработке. Нам важнее твое знание инженерных практик, опыт и системное мышление, чем количество лет в дата-инженерии.
Задачи
- Проектирование модели данных детального слоя под бизнес-требования с оптимальным хранением данных.
- Помощь другим командам в работе с данными, интеграциями, нашими инструментами, оптимизациями (центр экспертизы по работе с аналитическими данными).
- MLOps: CI/CD для ML-проектов, создание тулинга для вывода ML-моделей в production.
- Доработка Spark-коннекторов к Azure ресурсам, доработка Superset’а, написание платформенных библиотек.
Разработка инфраструктуры и инструментов для self-serve data platform:
- Разработка ELT/ETL-инструмента.
- CI/CD для пайплайнов.
- Интеграция данных платформы с другими системам.
- Автоматизация lineage, data quality.
- Подготовка платформы к Data Mesh подходу.
- Развертывание и обслуживание data-сервисов: Superset, Kafka Connect и т.д.
Ожидания
- Уверенное владение одним из языков программирования: Python, Scala, Java.
- Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
- Знание Spark, Spark Streaming (у нас Structured Streaming).
- Опыт с System design.
- Опыт дизайна DWH.
- Хорошие навыки в моделировании данных (мы используем Data Vault).
Будет плюсом:
- Apache Kafka и/или RabbitMQ.
- MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.).
- Знание того, как писать и оптимизировать сложные SQL-запросы.
- Умение проектировать дизайн распределенных систем.
- Опыт MLOps.
- Опыт работы с Hudi или Iceberg или Delta Lake.
- Умение балансировать между MVP и собственным перфекционизмом.
Условия
- Работа в офисе или удаленная работа.
- Расширенная ДМС с первого рабочего дня.
- Оплата профильных конференций, курсов, профессиональной литературы.
- Партнерские программы (скидки на изучение английского языка Skyeng, 50% компенсация психологической помощи на платформе Alter).
- Митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе.
- Прокачка навыков публичных выступлений (сделаем из вас крутого спикера).
- Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC).
- Помощь в переезде (релокационный бонус).
Полезные ссылки
- Наш рассказ об архитектуре платформы данных можно посмотреть на 3 митапе DE or DIE (есть ссылка на YouTube).
- Наш техрадар.
О компании Dodo Brands
Dodo Brands — компания, которая развивает такие бренды, как Додо Пицца, кофейни Дринкит, IT-подразделение Dodo Engineering. Мы родом из России, но наши амбиции глобальны. Сегодня у нас более 1260 точек в 24 странах мира, включая Европейские, Азиатские страны и Нигерию.
Мы делаем ставку на IT и создаём Dodo IS — единую информационную систему, включающую клиентский сайт, мобильное приложение, интерфейсы контакт-центра, трекинг заказов на кухне, учёт продуктов, аналитические инструменты и многое другое.