Data Engineer

Чем предстоит заниматься

• Создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством Informatica PowerCenter и технологий Apache Spark и Apache AirFlow.
• Реализовывать код для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive.
• Поддерживать и развивать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache AirFlow.
• Работать с версионным хранилищем кода и простыми процессами непрерывной интеграции и доставки кода на прод (CI/CD, GitLab).
• Работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle).
• Поддерживать в актуальном состоянии документацию проекта — работать с Serverless сервисами в облаке (Yandex Cloud, Microsoft Azure) и системами упаковки ПО (Docker).

Ожидания

• Опыт работы от 3-х лет.
• Опыт работы с Apache (Spark, Hive, AirFlow).
• Опыт работы Python и SQL.
• Опыт работы с Linux, Streaming, Docker, Yandex Cloud.

Условия

• Трудоустройство в аккредитованную ИТ-компанию.
• Возможность работать удаленно/гибридно/в офисном режиме, у нас есть офисы в Москве, Краснодаре, Иннополисе.
• Прозрачные цели, четкие ожидания, здравый смысл в процессах и управленческих подходах.
• Возможность профессиональной реализации мы не только берем экспертизу, но и помогаем развивать потенциал в интересных и многоплановых проектах, через оплачиваемое внешнее обучение, корпоративные курсы и участие в конференциях.
• Возможность миграции между проектами — мы быстро растем как вертикально, так и горизонтально.
• ДМС со стоматологией и льготными условиями для членов семьи.
• Корпоративные скидки от компаний-партнеров.

Стань частью семьи «Магнит»!