Все вакансииData EngineeringRemoteMiddle

Data Engineer (Hadoop)

в МегаФон

150 000 —‍ 200 000 ₽/мес до налогов

Можно удалённо из РФ

Специализация

Data Engineering

Уровень

Middle

Требуемый опыт

3+ лет

Технологии/инструменты

HadoopApache SparkApache IcebergApache OzonePythonPandasNumPyPySpark API

Чем предстоит заниматься

Миграция интеграций корпоративного хранилища данных между платформами Hadoop от разных поставщиков.
Рефакторинг интеграций в экосистеме Hadoop, в частности переход от Hive к Spark SQL.
Оптимизация ETL-процессов в среде Hadoop.

Что для этого нужно

Высшее техническое образование.
Опыт работы в IT от 3 лет.
Опыт проектирования и разработки хранилищ данных и ETL-процессов (опыт использования Apache Airflow будет преимуществом).
Глубокое понимание архитектуры Hadoop (HDFS, MapReduce), умение конфигурировать настройки параметров сессий.
Опыт использования технологий Apache Spark, Apache Iceberg, Apache Ozone.
Уверенное владение языком Python (библиотеки Pandas, NumPy, PySpark API).
Опыт работы с Trino или Amazon S3, как преимущество.

Илья Муллин Менеджер по найму

О компании МегаФон

Сфера

Телеком

Размер

1001+

МегаФон (>70 млн. абонентов) — российская телекоммуникационная компания, предоставляющая услуги сотовой связи, а также местной телефонной связи, широкополосного доступа в Интернет, кабельного телевидения и ряд сопутствующих услуг.

Награда за «Самую быструю сеть мобильной связи в России» (Ookla, 2020 год). Первыми запустили высокоскоростной интернет в России и уже тестируют сеть 5G.

Развивают IoT направление в городской среде, ЖКХ и повседневной жизни.