Senior Data Engineer

Мы находимся в поиске Senior Data Engineer в платформенную команду BI.

Команда занимается развитием корпоративного хранилища данных (Data Lake). Исследует и внедряет новые инструменты (R&D), пишет библиотеки для использования другими командами, разрабатывает нестандартные ETL-потоки и помогает коллегам в оптимизации сложных потоков.

Наш стек: Python, PySpark, Hive/HDFS, Airflow, ClickHouse, Kafka, Tableau.

Ваши задачи

• Реализация ETL в Hadoop (с помощью Apache Airflow).
• Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы.
• Батч и стримы с помощью PySpark и Kafka.
• Подготовка витрин для анализа (Hive + Spark+ SQL).

Мы ждем от будущих коллег

• Уверенное владение Python.
• Опыт использования экосистемы Hadoop: HDFS, Apache Airflow, Hive, Kafka, Spark.
• Знание SQL.
• Опыт работы с реляционными базами данных (Oracle).