Senior Data Engineer

Тебе предстоит

• Автоматизировать дата-пайплайны.
• Участвовать в построении хранилищ данных: проектирование, определение сущностей, формирование витрин данных.
• Разрабатывать и оптимизировать процессы выгрузки данных из различных источников.
• Разрабатывать процессы обработки данных.
• Проводить оркестрацию ETL/ELT процессов в Airflow.
• Поддерживать аналитическую инфраструктуру.

Ожидания

Знания и навыки:

• ClickHouse (желательно), Greenplum (плотный опыт обязательно!).
• Yandex.Cloud/Google Cloud Platform.
• Python, Spark — хорошие знания.
• Airflow/dbt.
• K8s — на уровне понимания.
• Kafka — практический опыт работы.
• Понимание концепта CDC (change data capture).
• Понимание/представление, каким образом можно создать динамический генератор дагов или dag factory.
• Практический опыт работы с потоковой обработкой данных (streaming/real-time) и с пакетной обработкой данных (batch).
• Знание и понимание особенностей моделей данных (например, data vault).

Условия

Мы готовы гибко обсуждать любые условия. Будем исходить из ожиданий успешного кандидата. Базовый пакет включает:

• Команда, открытая твоим идеям, свобода действий и доступ к ресурсам.
• Клиенты, чей опыт и продукт драйвит.
• Любой формат работы (офис, гибрид, удаленно). Офисы есть в Москве и Ярославле.
• ДМС, компенсация на изучения английского языка и внешнего обучения, винишко в твоем бокале.