Data Engineer

Мы — команда практик дата-инжиниринга. Помогаем большому комьюнити дата-инженеров с внедрением и адопшеном новых практик и инструментов для упрощения процесса разработки без потери качества

Задачи:

• Поиск точек роста и оптимизации текущего процесса поставки данных.
• Освоение новых технологий, например, DLH.
• Помощь в развитии сообщества Data Engineer-ов: описание лучших практик, развитие и автоматизация стандартов проектирования DWH, развитие матрицы компетенций дата-инженеров.
• Создание и оптимизация новых нетривиальных ETL-процессов обработки данных.
• Автоматизация контроля качества разработки.

Стек: Spark, Iceberg, Greenplum, Python, SQL.

Плюсом будут: Kafka, ClickHouse, NiFi, Flink.

Требования

• Умение работать с данными (SQL, Python).
• Знание принципов построения DWH, Data Lake и стандартов архитектуры.
• Знание архитектуры, Greenplum, Spark/Trino, Hadoop, ClickHouse, умение оптимизировать запросы в этих системах.
• Умение работать с ETL инструментами Apache Airflow, Apache NiFi, Apache Flink.
• Аналитическое мышление.
• Системный подход.

Обязанности

• постановка требований/видения к инструментам, чтобы они упрощали клиентский путь ДЕ.
• улучшение онбординга на инструменты.
• формирование, разработка и мониторинг метрик, отражающих клиентский путь и потенциальные точки оптимизации.
• Оптимизация текущего процесса поставки данных для сокращения лидтайма.