Data Engineer

Команда и проект

Компания идет по пути Data Driven. Команда разрабатывает аналитическую платформу, задача которой сделать данные доступными для наших коллег в пиццериях и партнеров франчайзи.

Сейчас мы ищем в нашу команду сильного Data Engineer.

Стек:

• Python, Spark (Databricks platform for managed Spark, PySpark для пайплайнов данных), DeltaLake, Azure Data Explorer, Azure EventHubs (Kafka API), Kafka Connect (Debezium), GitHub Actions, MLFlow, Apache Superset.

Чем предстоит заниматься

• Создание единой платформы данных как единого источника данных для ML, Data analytics, Reporting и Dashboarding.
• Разработка и автоматизация построения пайплайнов данных (batch и streaming).
• Проектирование модели данных детального слоя под бизнес требования с оптимальным хранением данных.
• Помощь BI в оптимизации запросов для витрин данных.
• Интеграция тулинга для Data lineage.
• MLOps: CI/CD для ML проектов, создание тулинга для вывода ML-моделей в production.
• Улучшение качества данных: интеграция внешних инструментов / библиотек для автоматического обнаружения проблем.
• Предоставление тулинга для разработчиков для поставки данных от сервисов в платформу данных.

Кого ищем

• Data warehousing, Data modeling, Data transformation.
• Как писать и оптимизировать сложные SQL запросы.
• Знания Python.
• Построение production пайплайнов данных с помощью Spark, Spark Streaming с мониторингом и логированием; опыт в оптимизации существующих пайплайнов под новые задачи.
• MPP / Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.).
• RabbitMQ и/или Apache Kafka.
• Архитектура проектов данных в масштабе.
• Дизайн распределенных систем, например, как MapReduce и распределенная обработка данных работают на масштабе.
• Хорошие навыки в моделировании данных как для классических реляционных моделей, так и для DWH.

Будет плюсом

• Опыт работы с Hudi или Iceberg или Delta Lake.

Что предлагаем

• Работа в офисе или удаленная работа.
• Расширенная ДМС с первого рабочего дня.
• Оплата профильных конференций, курсов, профессиональной литературы.
• Партнерские программы (скидки на изучение английского языка Skyeng, 50% компенсация психологической помощи на платформе Alter).
• Митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе.
• Прокачка навыков публичных выступлений (сделаем из вас крутого спикера).
• Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC).
• Помощь в переезде (релокационный бонус).
• Периодически Костя Оганезов готовит борщ или окрошку.