Ведущий разработчик хранилища данных

Задачи

Разработка корпоративного хранилища данных. Участие в проектировании архитектуры DWH. Разработка и сопровождение пайплайнов потоковой обработки данных (Kafka/RabbitMQ > RisingWave / Apache Flink). Анализ, исследование текущего функционала системы. Обновление документации по результатам разработки.

Требования

Опыт разработки на Greenplum / PostgreSQL (PL/pgSQL) от 3 лет (уверенные знания в области оптимизации). Опыт программирования на Python от 3 лет. Опыт использования Apache Airflow для оркестрации ETL/ELT-пайплайнов. Опыт работы с потоковой обработкой данных: Apache Kafka (продюсеры/консьюмеры, интеграция с DWH), RisingWave / Apache Flink. Опыт работы с командной строкой Linux. Знание основных концепций построения хранилищ данных, их отличия. Опыт проектирования архитектуры и функциональности DWH. Опыт работы с системами контроля версий. Опыт командной разработки. Опыт формализации и анализа бизнес-требований. Умение общаться с заказчиками. Владение английским языком на уровне чтения документации.