DWH / Big Data Developer

Мы — СОВКОМБАНК ТЕХНОЛОГИИ

IT-компания финансовой Группы «Совкомбанк», топ-3 работодателей по версии Хабр Карьера.

У нас работает более 5000 специалистов. Мы развиваем экосистему карты рассрочки "Халва", приложение "Совкомбанк Инвестиции" и собственные корпоративные продукты, проводим масштабные интеграции сервисов и компаний.

Присоединяйся к команде — давай вместе прокачивать финтех!

О проекте

Участие в проектах развития систем больших данных банка. Построение с нуля современной датаплатформы для крупного банка — создание технологического фундамента, который станет основой для аналитики, машинного обучения и работы с данными в режиме реального времени.

Датаплатформа состоит из:

• S3 Lakehouse (на базе Data Ocean Nova) — гибкое хранилище для работы с большими данными.
• Feature Platform — платформа для управления ML-фичами собственной разработки.
• Profile 360 — высокопроизводительное хранилище оперативных данных собственной разработки.
• ML-платформа (Kubeflow) — инфраструктура для развертывания ML-моделей.

Вы будете участвовать в проектировании и разработке сложных ETL-пайплайнов (как batch, так и streaming), интегрирующих компоненты платформы и наполняющих платформу данными.

Поскольку мы создаем платформу с нуля — значительная часть работы будет посвящена R&D и выбору оптимальных технологий (как из open-source решений, так и из проприетарного стека Data Ocean Nova). Вам предстоит подбирать и тестировать инструменты, находить оптимальные решения для инфраструктурных и бизнес-задач, принимать ключевые решения, которые определят эффективность всей системы.

Вы присоединитесь к сильной команде профессионалов, имеющей опыт построения подобных систем. Вместе с вами над платформой будут работать системные архитекторы, системные аналитики, разработчики других частей платформы (Feature Platform, Profile 360, ML), QA- и DevOps-инженеры, а также команда поддержки. У нас слаженный коллектив, где каждый вносит вклад в общий успех.

СТЕК: Spark, NiFi, S3, Iceberg, K8S, Kafka, Airflow

Обязанности:

• Разработка и поддержка ETL-процессов (batch и stream) для Lakehouse-платформы на базе S3.
• Интеграция данных из разнородных источников (Kafka, CDC, реляционные СУБД, REST-сервисы).
• Участие в проектировании технических и архитектурных решений, необходимых для реализации бизнес-задач.
• Взаимодействие с архитекторами, системными аналитиками, QA, DevOps.
• Наставничество для новых членов команды.

Требования:

• Опыт в Big Data от 2+ лет (Lakehouse, Hadoop).
• Глубокое знание SQL, оптимизация запросов в MPP движках.
• Знание Java/Scala на высоком уровне.
• Понимание принципов работы Spark.
• Практический опыт работы с потоковыми ETL-инструментами (NiFi, Flink, Kafka Connect), участие в проектах с онлайн потоковой аналитикой с большим количеством источников.

Будет плюсом:

• Знание Python на базовом уровне.
• Понимание процесса разработки процессоров NiFi на Python/Java.
• Опыт использования CDC инструментов (Debezium, Flink CDC) c Oracle/ MS SQL / PostgreSQL.
• Участие в проектировании архитектуры Big Data решений.
• Понимание принципов работы распределенных движков обработки данных Spark/Trino/Star Rocks/Impala.
• Опыт работы с форматом Iceberg.
• Опыт работы с CI/CD инструментами (Gitlab CI, Jenkins). Опыт работы с Docker, K8s.

Условия:

• Официальное оформление с первого дня — наша IT-компания аккредитована.
• Развитие профессиональной экспертизы: ты сможешь обучаться и посещать конференции и митапы за счёт Банка.
• Классная команда — мы за радость общения и дружбу в коллективе.
• Комфортный офис — у нас уютные рабочие пространства, комнаты отдыха с настольным теннисом, кикером, плойкой и другими плюшками.
• Коворкинги в Сочи и на Алтае — туда можно отправиться поработать и отдохнуть в режиме 4/3 за счёт Банка.
• Более 50 социальных программ — ДМС со стоматологией и страхованием от несчастных случаев и болезней, изучение английского, софинансирование летнего, зимнего и тематического отпуска, уникальные условия по продуктам и услугам Банка.
• Забота о детях: мы проводим праздники и экскурсии для детей наших сотрудников, софинансируем частный детский сад, отдых в лагере и подготовку к экзаменам.
• Много спорта: у нас есть клубы и секции, можно заниматься любым спортом за счёт Банка и участвовать в корпоративных турнирах и чемпионатах. Также мы софинансируем коллегам абонементы в фитнес-клубы.
• Вовлеченность, комфорт и свобода. У нас минимум бюрократии, нет дресс-кода, гибкое начало и завершение рабочего дня.
• Самая яркая корпоративная культура — летние IT-фесты, путешествия по России и за её пределами!