Senior Data Engineer

Мы находимся в поиске Senior Data Engineer в платформенную команду BI.

Команда занимается развитием корпоративного хранилища данных (Data Lake). Исследует и внедряет новые инструменты (R&D), пишет библиотеки для использования другими командами, разрабатывает нестандартные ETL-потоки и помогает коллегам в оптимизации сложных потоков.

Наш стек: Python, PySpark, Hive/HDFS, Airflow, ClickHouse, Kafka, Tableau.

Ваши задачи

• Реализация ETL в Hadoop (с помощью Apache Airflow).
• Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы.
• Батч и стримы с помощью PySpark и Kafka.
• Подготовка витрин для анализа (Hive + Spark+ SQL).

Мы ждем от будущих коллег

• Уверенное владение Python.
• Опыт использования экосистемы Hadoop: HDFS, Apache Airflow, Hive, Kafka, Spark.
• Знание SQL.
• Опыт работы с реляционными базами данных (Oracle).

Условия работы

• Формат работы на выбор: офис, гибрид или удаленка.
• Гибкий график: с 8:00 до 17:00, с 9:00 до 18:00 или с 10:00 до 19:00.
• Участие в проекте кафетерия льгот: медицинское страхование (ДМС), спорт, мобильная связь, обучение.
• Полугодовые премии.
• Корпоративная скидка 30% на продукцию сети наших магазинов: Спортмастер, O`STIN, FUNDAY.
• Внутреннее и внешнее обучение, участие в конференциях.
• BestBenefits — сервис персонализированных скидок и привилегий.
• Технику предоставляем.