Бэкенд-разработчик (DWH)

Мы создаем платформу данных, которая будет обладать свойствами RTD (real-time data) и Zero Data Loss.

Мы в числах

• 100+ микросервисов источников данных.
• 100+ ГБ захватываемых данных каждый час.

Какие задачи вас ждут

Создание новых микросервисов платформы данных

Существующие технологии DWH не обладают необходимыми нам свойствами. Мы планируем реализовать микросервисы, оркестрирующие существующими технологиями, либо заменяющие их. Примеры нового функционала:

• Отказоустойчивый захват данных из сотен разных БД (PG/Oracle/YDB/MongoDB).
• Формирование raw слоя на s3.
• Сверки между источниками данных и данными в платформе данных.
• Архивация данных.

Оптимизации и кастомизации существующих инструментов

Иногда для настройки инструментов нашим Data Engineer потребуются ваши экспертные знания СУБД/Kafka/S3/библиотек Java. В отдельных случаях, инструменты потребуется частично переписывать, реверс-инжинирить, либо писать под них плагины.

Доработки других микросервисов Финтеха

Наша платформа данных выставляет новые требования к данным, поставляемым в нее из сотен микросервисов, уже развернутых внутри нашего банка. Вам предстоит дорабатывать некоторые из них, разрабатывать библиотеки, которые обобщают такие доработки.

Мы ждем, что вы

• Занимались коммерческой разработкой от четырёх лет.
• Проектировали схемы данных, занимались партиционированием, шардированием, создавали эффективные индексы.
• Работали с различными типами СУБД и имеете экспертные знания в некоторых из них: реляционными (PostgreSQL, Oracle), NoSQL (MongoDB), MPP-системами (Greenplum).
• Управляли данными в S3-совместимых хранилищах.