Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Senior Data Engineer (Promo Forecast)

в Магнит

от 250 000 ₽/мес на руки

📍 Москва (м. Белорусская)Можно удалённо из РФ

Специализация

Python

Уровень

Senior

Магнит IT — это всегда стабильная работа.

Пишем на 10 языках: от культовых языков как Java и Python и до Golang и Dart.
Разрабатываем более 400 систем для наших 10 доменов.
Обрабатываем более петабайт данных для создания лучшего пользовательского опыта.
Автоматизируем более 40 распределительных центров и 25 тысяч магазинов, которые управляются более 100000 мобильными устройствами и серверами.

Технологии/инструменты

PythonSQLLinuxDockerApacheSparkHiveAirFlowCloud

Чем ты будешь заниматься

Создавать потоки для пакетной транспортировки данных (ETL / ELT) посредством ПО InformaticaPowerCenter и технологий Apache Spark и Apache AirFlow.
Развивать потоки для потоковой транспортировки данных (Streaming) посредством технологий Apache Kafka и Apache Structured Streaming.
Реализовывать оптимальный код с учетом SLA для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive.
Развивать и оптимизировать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow.
Работать с версионным хранилищем кода и сложными процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab) — работать с существующими процессами в различных СУБД (Teradata, PostgreSQL, Oracle, Redis).
Поддерживать в актуальном состоянии документацию проекта.
Проводить проверку кода младших специалистов.
Работать с serverless сервисами в облаке (Yandex Cloud, Microsoft Azure) и системами упаковки ПО (Docker, K8S).

Ожидания

Опыт работы с Hadoop и другими СУБД.
Опыт работы в курирование команды и постановкой задач.

Условия

График работы 5/2 с гибким началом.
Возможность работать в офисе в Москве и удаленно.
Оформление по ТК РФ, оплачиваемые больничные и отпуска.
Развитие — мы оплачиваем обучение на курсах / конференциях.
Дружеская атмосфера и поддержка команды профессиональных и активных коллег.

Анастасия Золотарева рекрутер

О компании Магнит

Сфера

Продуктовая компания

Размер

1001+

Магнит — это одна из крупнейших розничных сетей России, которая трансформируется в большую цифровую компанию. Магнит входит в список крупнейших публичных компаний мира рейтинга Global 2000 Forbes и возглавляет рейтинг крупнейших частных работодателей России по версии Forbes. Magnit Tech — команда из 3500 IT-специалистов, которая создает экосистему комплементарных сервисов: Magnit Pay, Magnit Mobile, DMP платформа, Программа лояльности.