Все вакансииData EngineeringRemoteSenior

Senior Data Engineer

в Магнит

300 000 —‍ 340 000 ₽/мес на руки

📍 Москва (м. Белорусская)Санкт-Петербург (м. Балтийская)КраснодарИннополисМожно удалённо из РФ

Специализация

Data Engineering

Уровень

Senior

Мы в поисках Data Engineer на проект построения и развития хранилища данных в направление Магнит Маркета.

Магнит, огромный классический brick-and-mortar ритейлер, врывается на рынок маркетплейсов, запуская свой Магнит Маркет на основе присоединившегося к нам пятого по размеру маркетплейса в России — Kazan Express, — и собственной оффлайн-инфраструктуры.

Основные задачи — развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие дата-каталога, движка Data Quality.

Технологии/инструменты

SQLPythonAirflowGreenplum/ClickHouse

Greenplum и ClickHouse как DWH.
Airflow как оркестратор задач.
Python для дагов и операторов в AF.
Debezium как CDC.
Yandex Cloud как место работы всех наших сервисов.
DBT как основа дата каталога и шаблонизатор SQL.

Чем ты будешь заниматься

В первые три месяца

Погружаться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений.
Осваиваться в предметной области данных.
Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности.

Когда освоишься

Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования.
Развивать модель данных.
Рефакторить текущие процессы, предлагать лучшие практики работы с данными.
Самостоятельно вести проекты, нужные бизнесу.
Декомпозировать их до понятных технических задач.

Мы ожидаем

Знания особенностей MPP систем.
Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса).
Опыт с Python достаточный для разработки операторов в Airflow (ООП) и написания пайплайнов данных из различных источников.
Понимание принципов работы Airflow.
Опыт в Greenplum и/или ClickHouse.

Мы предлагаем

Интересный сложный продукт с большим количеством пользователей.
Оформление в аккредитованную ИТ-компанию.
Конкурентоспособную заработную плату (обсуждается индивидуально).
ДМС со стоматологией.
Технику для работы.
Формат работы на выбор: полную удаленку, при желании — гибрид/офис.

Анастасия Бурумбаева IT Recruiter

О компании Магнит

Сфера

Продуктовая компания

Размер

1001+

Магнит — это одна из крупнейших розничных сетей России, которая трансформируется в большую цифровую компанию. Магнит входит в список крупнейших публичных компаний мира рейтинга Global 2000 Forbes и возглавляет рейтинг крупнейших частных работодателей России по версии Forbes. Magnit Tech — команда из 3500 IT-специалистов, которая создает экосистему комплементарных сервисов: Magnit Pay, Magnit Mobile, DMP платформа, Программа лояльности.