Компания больше не ищет сотрудника. Посмотрите похожие предложения
Senior Data Engineer
в MAGNIT TECH
300 000 — 340 000 ₽/мес на руки
Технологии/инструменты
Мы в поисках Data Engineer на проект построения и развития хранилища данных в направление Магнит Маркета.
Магнит, огромный классический brick-and-mortar ритейлер, врывается на рынок маркетплейсов, запуская свой Магнит Маркет на основе присоединившегося к нам пятого по размеру маркетплейса в России — Kazan Express, — и собственной оффлайн-инфраструктуры.
Основные задачи — развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие дата-каталога, движка Data Quality.
Cтек команды
- Greenplum и ClickHouse как DWH.
- Airflow как оркестратор задач.
- Python для дагов и операторов в AF.
- Debezium как CDC.
- Yandex Cloud как место работы всех наших сервисов.
- DBT как основа дата каталога и шаблонизатор SQL.
Чем ты будешь заниматься
В первые три месяца
- Погружаться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений.
- Осваиваться в предметной области данных.
- Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности.
Когда освоишься
- Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования.
- Развивать модель данных.
- Рефакторить текущие процессы, предлагать лучшие практики работы с данными.
- Самостоятельно вести проекты, нужные бизнесу.
- Декомпозировать их до понятных технических задач.
Мы ожидаем
- Знания особенностей MPP систем.
- Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса).
- Опыт с Python достаточный для разработки операторов в Airflow (ООП) и написания пайплайнов данных из различных источников.
- Понимание принципов работы Airflow.
- Опыт в Greenplum и/или ClickHouse.
Мы предлагаем
- Интересный сложный продукт с большим количеством пользователей.
- Оформление в аккредитованную ИТ-компанию.
- Конкурентоспособную заработную плату (обсуждается индивидуально).
- ДМС со стоматологией.
- Технику для работы.
- Формат работы на выбор: полную удаленку, при желании — гибрид/офис.
О компании MAGNIT TECH
MAGNIT TECH — технологичный драйвер одного из крупнейших ритейлеров страны. Мы создаём будущее: от решений в области автономной логистики с полностью автоматизированными распределительными центрами до исследований потенциала квантовых вычислений.
Для тех, кто УСТАЛ от бюрократии и бесконечных ограничений, где команды будто живут в разных мирах, а страсть гаснет под тяжестью правил и процедур. Для тех, кто ЖАЖДЕТ атмосферы раннего IT — где царит драйв и свобода, где чувствуешь себя первооткрывателем, движешься в одном ритме с командой и создаёшь то, что действительно меняет мир. Для новаторов, которые не видят границ между технологиями и творчеством.
Сегодня MAGNIT TECH — это: 5 000+ сотрудников; 1000+ активных участников комьюнити; 260+ активных проектов и продуктов; 800+ активных систем и сервисов; 4,5 года средний стаж работы в компании; 30 лет средний возраст сотрудников.
Хочешь влиять на будущее и создавать действительно значимые решения? Добро пожаловать в MAGNIT TECH.