Data Engineer (ETL, DWH)

Про команду

Наша команда создает информационную платформу для решения аналитических и исследовательских задач в области создания продуктов и услуг на мировых финансовых рынках:

• Торговля валютой.
• Ценными бумагами.
• Производными финансовыми инструментами.

Этот бизнес потребляет и порождает огромное количество данных, которые должны обрабатываться с целью:

• Разработки витрин данных и моделей машинного обучения.
• Подготовки регулярной аналитической и управленческой отчетности.
• Поддержки регулярных бизнес-операций.
• Проведения Ad hoc анализа.

Разрабатываемая нами информационная платформа — высоконагруженное решение, призванное обеспечить достижение всех этих целей.

Основные задачи сотрудника на данной позиции

• Системная разработка, поддержка и оптимизация ETL-процессов и ML-моделей (MLOps) на платформах Greenplum и Hadoop.
• R&D, реализация пилотов по выбору технологий и решений.
• Поддержка промышленной эксплуатации разработанных решений.
• Проведение презентаций и обучения процессам в ПКАП членов продуктовых команд.
• Поддержание технической документации в актуальном состоянии.

Требования

• Опыт работы в роли дата инженера от 2-х лет.
• Опыт промышленной разработки ETL-процессов на Python (например, библиотека AirFlow).
• Опыт работы с популярными РСУБД (Greenplum, Teradata, Oracle, MS SQL).
• Знание SQL, PL/SQL.
• Знакомство с экосистемой Hadoop (HDFS, Hive, Impala, Spark, Oozie и т.д.).