Data Engineer

В ваши задачи будет входить

• Проектирование и разработка высокопроизводительных Data Pipelines с использованием Apache Kafka и Apache NiFi для обработки и интеграции данных в режиме реального времени.
• Настройка и управление оркестрацией ETL/ELT-процессов с помощью Apache Airflow и dbt.
• Оптимизация и поддержка реляционных баз данных (Postgres/MySQL) и аналитических хранилищ данных, таких как ClickHouse.
• Управление хранилищами данных и системами для работы с большими данными (такими как S3/MinIO) и их интеграция с системами анализа данных, такими как Apache Spark.
• Автоматизация задач мониторинга и обеспечения надежности потоков данных.
• Работа над повышением производительности и надежности процессов обработки данных с учетом требований безопасности и отказоустойчивости.
• Взаимодействие с командами разработки и аналитики для обеспечения бесперебойного доступа к данным.
• Разработка и внедрение стратегий по управлению данными, их качества и доступности.

Что мы от вас ожидаем

• Отличное знание SQL, Python.
• Опыт работы с потоковыми платформами, такими как Apache Kafka.
• Глубокое понимание и опыт работы с Apache NiFi для построения потоков данных и управления интеграцией.
• Знание систем оркестрации процессов, таких как Apache Airflow, и инструментов трансформации данных, таких как dbt.
• Хорошее знание реляционных баз данных (Postgres, MySQL) и аналитических хранилищ данных, таких как ClickHouse.
• Опыт работы с системами хранения данных, такими как S3/MinIO или HDFS, и инструментами для работы с большими данными, такими как Apache Spark, Flink.
• Опыт создания и поддержки ETL/ELT-процессов в production-среде.
• Знание принципов построения отказоустойчивых и масштабируемых систем для работы с большими объемами данных.
• Опыт настройки и оптимизации производительности баз данных и хранилищ данных.

Приветствуется опыт работы с CI/CD для автоматизации процессов обработки данных.

Что мы можем предложить

• Возможность полностью работать удаленно из любой точки мира или в офисе (Москва, Кипр) для желающих поработать в формате коворкинга или с закрепленным рабочим местом.
• Оформление в штат компании и не только.
• Возможность получать з/п в любой валюте.
• Плавающее начало дня, 8 часов рабочий день.
• Разнообразные корпоративные программы.