Data Engineer (Дивизион по управлению рисками)

Наша команда создаёт витрины и аналитические системы для подразделений оценки розничных рисков и потребительского кредитования. Для тебя это отличная возможность поработать с большими базами данных (сотни миллионов строк) и современными технологиями. Опытный руководитель, коллеги помогут и покажут лучшие решения на практике, и ты сможешь также привнести свои идеи. Самостоятельная работа и развитие приветствуются.

Ждем тебя в нашей команде!

Задачи

• Развитие архитектуры локального хранилища данных на базе PostgreSQL.
• Разработка витрин данных на Greenplum + Data Lake с использованием собственного фреймворка.
• Разработка и оптимизация ETL/ELT-процессов.
• Создание производительных пайплайнов с использованием Spark, Python, SQL.
• Оптимизация производительности загрузок и вычислений на больших объёмах данных.
• Контроль качества данных и надежности процессов.
• Автоматизация и CI/CD для аналитических пайплайнов.
• Наставничество младших разработчиков, код-ревью.
• Участие в оценке трудозатрат, планировании задач.
• Совместная работа с аналитиками, архитекторами, бизнес-заказчиками.
• Устранение инцидентов, техподдержка пользователей.
• Постоянное улучшение производительности и устойчивости решений.

Что мы ждём

• Опыт работы с реляционными СУБД, отличное знание SQL, опыт оптимизации запросов.
• Опыт работы с Data Lake (Spark/Python).
• Владение ETL/ELT-инструментами.
• Знание CI/CD для DWH-процессов.
• Знание архитектуры DWH и принципов моделирования данных: звезда, снежинка, Data Vault.