Senior ETL / DWH Developer

Мы ищем Senior ETL/DWH-разработчика в команду Data Infrastructure в направлении Marketing.

Задачи:

• Разработка и оптимизация архитектуры Хранилища данных, проектирование слоев данных.
• Создание, поддержка и оптимизация высоконагруженных ETL-процессов;
  Интеграция данных из внутренних/внешних источников (API, файловые хранилища, БД).
• Работа с BigData и стримингом.
• Коммуникация с бизнес-аналитиками и формализация требований, дата-инженерами и архитекторами.
• Проведение код-ревью и шеринг экспертизы с коллегами (проведение митапов, техническая консультация).

Для этого тебе понадобится:

• От 4 лет опыта в разработке и поддержке хранилищ данных.
• Глубокие знания и практический опыт работы с Hadoop (HDFS, Hive, Spark).
• Опыт работы с dbt.
• Отличные знания SQL, опыт оптимизации сложных запросов и работы с большими объёмами данных.
• Опыт проектирования и разработки ETL-процессов.
• Опыт разработки real-time и near real-time pipeline’ов обработки/загрузки данных.
• Опыт работы с Airflow и Docker.
• Опыт работы с Git.
• Уверенные знания Python.
• Уровень разговорного английского языка не ниже B1.

Будет Плюсом:

• Настройка систем мониторинга процессов ETL.
• Знание основ Data Governance и compliance (GDPR).