Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
МегаФон
Все вакансииData EngineeringRemoteMiddle

Data Engineer (Hadoop)

в МегаФон

150 000 —‍ 200 000 ₽/‍мес до налогов

Можно удалённо из РФ
Специализация
Data Engineering
Уровень
Middle
Требуемый опыт
3+ лет

Технологии/инструменты

Hadoop
Apache Spark
Apache Iceberg
Apache Ozone
Python
Pandas
NumPy
PySpark API

Чем предстоит заниматься

  • Миграция интеграций корпоративного хранилища данных между платформами Hadoop от разных поставщиков.
  • Рефакторинг интеграций в экосистеме Hadoop, в частности переход от Hive к Spark SQL.
  • Оптимизация ETL-процессов в среде Hadoop.

Что для этого нужно

  • Высшее техническое образование.
  • Опыт работы в IT от 3 лет.
  • Опыт проектирования и разработки хранилищ данных и ETL-процессов (опыт использования Apache Airflow будет преимуществом).
  • Глубокое понимание архитектуры Hadoop (HDFS, MapReduce), умение конфигурировать настройки параметров сессий.
  • Опыт использования технологий Apache Spark, Apache Iceberg, Apache Ozone.
  • Уверенное владение языком Python (библиотеки Pandas, NumPy, PySpark API).
  • Опыт работы с Trino или Amazon S3, как преимущество.
Илья МуллинМенеджер по найму
МегаФон

О компании МегаФон

Сфера
Телеком
Размер
1001+

МегаФон (>70 млн. абонентов) — российская телекоммуникационная компания, предоставляющая услуги сотовой связи, а также местной телефонной связи, широкополосного доступа в Интернет, кабельного телевидения и ряд сопутствующих услуг.

Награда за «Самую быструю сеть мобильной связи в России» (Ookla, 2020 год). Первыми запустили высокоскоростной интернет в России и уже тестируют сеть 5G.

Развивают IoT направление в городской среде, ЖКХ и повседневной жизни.