Наша команда разрабатывает и поддерживает внутреннюю аналитическую платформу банка. Миссия — сделать работу с данными проще, быстрее и надёжнее для всех пользователей: от аналитиков до продуктовых команд.
Мы обеспечиваем полный жизненный цикл наших решений: от архитектуры и разработки до мониторинга, поддержки пользователей, обучения и документирования.
Сейчас наша команда занимается расширением аналитических возможностей платформы за счёт интеграции ClickHouse как OLAP-хранилища для оперативной и высоконагруженной аналитики в рамках декомиссии Power BI. Данные из DWH (HDFS, GreenPlum) должны будут поступать в ClickHouse, а далее — в BI-tool для визуализации.
На данный момент отсутствует механизм загрузки данных в ClickHouse, поэтому предстоит построить надёжный, производительный и управляемый фреймворк, который:
- Позволит пользователям легко настраивать и запускать загрузки.
- Будет интегрирован в существующую экосистему.
- Обеспечит высокую скорость записи и стабильность чтения.
- Будет поддерживаться командой и масштабироваться на новые сценарии.
Основные задачи Data Engineer в команде
Разработка и оптимизация фреймворка загрузки в ClickHouse:
- Проработка эффективной стратегии записи данных из различных источников в ClickHouse.
- Оценка производительности, отказоустойчивости, сложности работы со встроенными движками интеграции в ClickHouse.
Интеграция с DWH
- Автоматизация подключения новых источников данных и построения витрин в ClickHouse.
- Разработка унифицированного механизма настройки и управления загрузками, снижающего порог входа для аналитиков и продуктовых команд.
Разработка загрузчика в ClickHouse на базе Airflow:
- Реализация надёжного ETL-пайплайна с поддержкой event-driven запуска через внутренний сервис событий.
- Использование сенсоров для исключения преждевременных запусков, ошибок и неконсистентности данных.
- Встроенная обработка сбоев, повторные попытки, алертинг и мониторинг.
Оптимизация взаимодействия с BI
— совместно с BI-командой проработка эффективных подходов к чтению данных из ClickHouse в BI-tool (оптимизация запросов, настройка витрин и материализованных представлений, управление нагрузкой и кэшированием).
Экспертиза дата-инженеров в банке
-
Опыт работы с OLAP-системами, особенно ClickHouse:
- Понимание движков таблиц (MergeTree, ReplacingMergeTree, Distributed и др.).
- Опыт настройки репликации, шардирования, партиционирования.
- Оптимизация производительности DML-запросов.
-
SQL — продвинутый уровень, опыт работы с большими объёмами данных.
- Spark — для написания ETL-логики.
- Python — для, интеграций, скриптов.
- Airflow — опыт разработки DAG-ов, сенсоров, кастомных операторов.
- Понимание принципов ETL/ELT, моделирования данных, Data Vault 2.0, 3НФ, Anchor.
Дополнительная экспертиза, которую мы ценим
- Опыт с DBT (в том числе кастомизация и интеграции).
- Hadoop (HDFS), GreenPlum, Trino — опыт работы с этими системами приветствуется.
- Опыт работы с Kafka (для event-based архитектур).
- Понимание механизмов отказоустойчивости и мониторинга в ETL.
- Опыт работы с масштабируемыми пайплайнами и обработкой больших данных (терабайты+).
- Docker — для контейнеризации компонентов платформы.
Бенефиты для сотрудников
- Возможность работать из офиса или удаленно (главное — договориться с командой).
- ДМС со стоматологией, массажем, телемедициной, ежегодными чек-апами, которое работает как в Москве, так и в регионах.
- Страхование от несчастных случаев и онкологических заболеваний, страхование выезжающих за границу.
- Три оплачиваемых отгула в год.
- Работа в банке с развитой культурой обратной связи.
- Поддержка опытного наставника, обучающие курсы для комфортной адаптации, помощь в развитии экспертизы со стороны профессиональных сообществ банка.
- Собственная ИТ-академия, участие в конференциях.
- Бесплатные индивидуальные консультации психологов, юристов, экспертов по личным финансам и консультантов по здоровому образу жизни, карьерные консультации.
- Льготные условия на банковские продукты и услуги.
- Скидки от партнеров банка в приложении PrimeZone в сферах здоровья, развлечений, творчества и интернет-покупок и др.
