Название скрыто (Ритейл)

DWH Engineer

в Название скрыто (Ритейл)

300 000 —‍ 350 000 ₽/мес на руки

📍 МоскваМожно удалённо из РФ
Специализация
Data Engineering
Уровень
Senior

Проект — построение и развитие Хранилища Данных FoodTech.

Основные задачи — развитие существующего фреймворка загрузки сырьевых данных и построение витрин над ними, развитие Дата Каталога, движка Data Quality.

Технологии/инструменты

SQLPythonAirflowClickHouse

Наш стэк

  • Greenplum и ClickHouse, как DWH.
  • Airflow, как оркестратор задач.
  • Python для дагов и операторов в AF.
  • Debezium как CDC.
  • Yandex Cloud, как место работы всех наших сервисов.
  • DBT, как основа дата каталога и шаблонизатор SQL.

Чем предстоит заниматься

В первые три месяца

  • Погрузиться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений.
  • Освоиться в предметной области данных.
  • Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности.

Когда освоишься

  • Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования.
  • Развивать модель данных.
  • Рефакторить текущие процессы, предлагать лучшие практики работы с данными.

Что нужно, чтобы к нам присоединиться

  • Знать особенности MPP-систем.
  • Уверенно владеть SQL(Оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса).
  • Иметь опыт с Python достаточный для разработки операторов в Airflow(ООП) и написания пайплайнов данных из различных источников.
  • Понимать принципы работы Airflow (даги, таски, операторы, сенсоры, хуки, контекст).

Будет плюсом

  • Опыт в Greenplum и/или ClickHouse(особенно шардированный).

Что предлагаем

  • Очень интересный сложный продукт с большим количеством пользователей.
  • Формат работы: полная удаленка, при желании — гибрид/офис.
  • Оформление в IT-компании, аккредитованной в Министерстве цифрового развития.
  • ДМС.
Ирина рекрутер
Название скрыто (Ритейл)

О компании Название скрыто (Ритейл)

Название скрыто под NDA. Крупная розничная сеть в России. Все подробности рекрутер раскроет лично сразу после отклика.

Похожие вакансии

8 100 – 10 300 $/мес на руки
Полная удалёнка
8 000 – 10 000 $/мес на руки
Полная удалёнка
7 500 – 9 000 $/мес на руки
Полная удалёнка
700 000 – 900 000 ₽/мес на руки
📍 Москва, можно удалённо из РФ
6 000 – 7 000 $/мес на руки
Полная удалёнка