Data Engineer

Чем предстоит заниматься

• Создание единой платформы данных как единого источника данных для ML, data analytics, reporting и dashboarding.
• Разработка и автоматизация построения пайплайнов данных (batch и streaming).
• Проектирование модели данных детального слоя под бизнес требования с оптимальным хранением данных.
• Помощь BI в оптимизации запросов для витрин данных.
• Интеграция тулинга для data lineage.
• MLOps: CI/CD для ML проектов, создание тулинга для вывода ML-моделей в production.
• Улучшение качества данных: интеграция внешних инструментов/библиотек для автоматического обнаружения проблем.
• Предоставление тулинга для разработчиков для поставки данных от сервисов в платформу данных.

Кого ищем

• Навыки data warehousing, data modeling, data transformation.
• Умение писать и оптимизировать сложные SQL запросы.
• Знания Python.
• Опыт построения production пайплайнов данных с помощью Spark, Spark Streaming с мониторингом и логированием; опыт в оптимизации существующих пайплайнов под новые задачи.
• Знание MPP/Cloud data warehouse решений (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.).
• Навыки работы с RabbitMQ и/или Apache Kafka.
• Опыт работы с архитектурой проектов данных в масштабе.
• Опыт дизайна распределенных систем, например, как map-reduce и распределенная обработка данных работают на масштабе.
• Хорошие навыки в моделировании данных как для классических реляционных моделей, так и для DWH.

Будет плюсом

• Опыт работы с Hudi или Iceberg или Delta Lake.

Что предлагаем

• Работа в офисе или удаленная работа.
• Расширенная ДМС с первого рабочего дня.
• Оплата профильных конференций, курсов, профессиональной литературы.
• Партнерские программы (скидки на изучение английского языка Skyeng, 50% компенсация психологической помощи на платформе Alter).
• Митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе.
• Прокачка навыков публичных выступлений (сделаем из вас крутого спикера).
• Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC).
• Помощь в переезде (релокационный бонус).
• Периодически Костя Оганезов готовит борщ или окрошку.