Data Engineer

Чем предстоит заниматься

• Автоматизировать дата-пайплайны.
• Участвовать в построении хранилищ данных: проектирование, определение сущностей, моделирование данных, формирование витрин данных.
• Разрабатывать и оптимизировать процессы выгрузки данных из различных источников (БД, GCS, S3, Kafka, API's).
• Разрабатывать процессы обработки данных (batch, stream, near real-time).
• Проводить оркестрацию ETL/ELT процессов в AirFlow, NiFi.
• Поддерживать аналитическую инфраструктуру.
• И многим другим дико интересным.

Что реально крутого делаем

• Много экспериментируем с разными технологиями и связками технологий.
• Разворачиваем и настраиваем потоки данных в AirFlow (в том числе с Kubernetes Pod Operator).
• Тестируем и настраиваем выгрузку данных в Greenplum через gpfdist, pxf, s3 механизмы, а также через Greenplum Connector for Apache Spark.
• Проводим качественные исследования по новым методам забора данных из различных БД.
• Разрабатываем и тестируем способы укладывания дельты изменений между слоями данных в Greenplum.
• Пишем и тестируем кастомные AirFlow Operator-ы.
• Исследуем подходы к оптимизации БД и реализуем их (ClickHouse, Greenplum).

Это точно прокачает твои hard skills!

Ожидания

• Опыт работы 3-6 лет.

Условия

Мы готовы гибко обсуждать любые условия. Будем исходить из ожиданий успешного кандидата. Базовый пакет включает:

• Команда, открытая твоим идеям, свобода действий и доступ к ресурсам.
• Клиенты, чей опыт и продукт драйвит.
• Гибридный или удаленный формат работы, свободное начало дня (м. Достоевская). Старательно создаем из офиса — третье место, культурное пространство, куда стягиваются люди (вечеринки, настольные игры, кинопросмотры, винный клуб и всё такое). Офис есть также в Ярославле.
• ДМС, компенсация на изучения английского языка, занятия спортом и внешнего обучения.