Data Engineer

Задачи

• Проектирование модели данных детального слоя под бизнес-требования с оптимальным хранением данных.
• Помощь другим командам в работе с данными, интеграциями, нашими инструментами, оптимизациями (центр экспертизы по работе с аналитическими данными).
• MLOps: CI/CD для ML-проектов, создание тулинга для вывода ML-моделей в production.
• Доработка Spark-коннекторов к Azure ресурсам, доработка Superset’а, написание платформенных библиотек.

Разработка инфраструктуры и инструментов для self-serve data platform:

• Разработка ELT/ETL-инструмента.
• CI/CD для пайплайнов.
• Интеграция данных платформы с другими системам.
• Автоматизация lineage, data quality.
• Подготовка платформы к Data Mesh подходу.
• Развертывание и обслуживание data-сервисов: Superset, Kafka Connect и т.д.

Ожидания

• Опыт работы со Spark.
• Уверенное владение одним из языков программирования: Python, Scala, Java.
• Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
• Знание Spark Streaming (у нас Structured Streaming).
• Опыт с System design.
• Опыт дизайна DWH.
• Хорошие навыки в моделировании данных (мы используем Data Vault).

Будет плюсом:

• Apache Kafka и/или RabbitMQ.
• MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.).
• Знание того, как писать и оптимизировать сложные SQL-запросы.
• Умение проектировать дизайн распределенных систем.
• Опыт MLOps.
• Опыт работы с Hudi или Iceberg или Delta Lake.
• Умение балансировать между MVP и собственным перфекционизмом.

Условия

• Работа в офисе или удаленная работа.
• Расширенная ДМС с первого рабочего дня.
• Оплата профильных конференций, курсов, профессиональной литературы.
• Партнерские программы (скидки на изучение английского языка Skyeng, 50% компенсация психологической помощи на платформе Alter).
• Митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе.
• Прокачка навыков публичных выступлений (сделаем из вас крутого спикера).
• Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC).
• Помощь в переезде (релокационный бонус).

Полезные ссылки

• Наш рассказ об архитектуре платформы данных можно посмотреть на 3 митапе DE or DIE (есть ссылка на YouTube).
• Наш техрадар.