Совкомбанк Технологии

DWH / Big Data Developer

в Совкомбанк Технологии

📍 Санкт-Петербург (м. Владимирская)КазаньОфис или гибрид
Специализация
DWH (Data warehouse) / Data Engineer
Уровень
Lead
Требуемый опыт
2+ лет

Технологии/инструменты

LakehouseHadoopSQLJava / ScalaSparkNiFiFlinkKafka Connect

Мы — СОВКОМБАНК ТЕХНОЛОГИИ

IT-компания финансовой Группы «Совкомбанк», топ-3 работодателей по версии Хабр Карьера.

У нас работает более 5000 специалистов. Мы развиваем экосистему карты рассрочки "Халва", приложение "Совкомбанк Инвестиции" и собственные корпоративные продукты, проводим масштабные интеграции сервисов и компаний.

Присоединяйся к команде — давай вместе прокачивать финтех!

О проекте

Участие в проектах развития систем больших данных банка. Построение с нуля современной датаплатформы для крупного банка — создание технологического фундамента, который станет основой для аналитики, машинного обучения и работы с данными в режиме реального времени.

Датаплатформа состоит из:

  • S3 Lakehouse (на базе Data Ocean Nova) — гибкое хранилище для работы с большими данными.
  • Feature Platform — платформа для управления ML-фичами собственной разработки.
  • Profile 360 — высокопроизводительное хранилище оперативных данных собственной разработки.
  • ML-платформа (Kubeflow) — инфраструктура для развертывания ML-моделей.

Вы будете участвовать в проектировании и разработке сложных ETL-пайплайнов (как batch, так и streaming), интегрирующих компоненты платформы и наполняющих платформу данными.

Поскольку мы создаем платформу с нуля — значительная часть работы будет посвящена R&D и выбору оптимальных технологий (как из open-source решений, так и из проприетарного стека Data Ocean Nova). Вам предстоит подбирать и тестировать инструменты, находить оптимальные решения для инфраструктурных и бизнес-задач, принимать ключевые решения, которые определят эффективность всей системы.

Вы присоединитесь к сильной команде профессионалов, имеющей опыт построения подобных систем. Вместе с вами над платформой будут работать системные архитекторы, системные аналитики, разработчики других частей платформы (Feature Platform, Profile 360, ML), QA- и DevOps-инженеры, а также команда поддержки. У нас слаженный коллектив, где каждый вносит вклад в общий успех.

СТЕК: Spark, NiFi, S3, Iceberg, K8S, Kafka, Airflow

Обязанности:

  • Разработка и поддержка ETL-процессов (batch и stream) для Lakehouse-платформы на базе S3.
  • Интеграция данных из разнородных источников (Kafka, CDC, реляционные СУБД, REST-сервисы).
  • Участие в проектировании технических и архитектурных решений, необходимых для реализации бизнес-задач.
  • Взаимодействие с архитекторами, системными аналитиками, QA, DevOps.
  • Наставничество для новых членов команды.

Требования:

  • Опыт в Big Data от 2+ лет (Lakehouse, Hadoop).
  • Глубокое знание SQL, оптимизация запросов в MPP движках.
  • Знание Java/Scala на высоком уровне.
  • Понимание принципов работы Spark.
  • Практический опыт работы с потоковыми ETL-инструментами (NiFi, Flink, Kafka Connect), участие в проектах с онлайн потоковой аналитикой с большим количеством источников.

Будет плюсом:

  • Знание Python на базовом уровне.
  • Понимание процесса разработки процессоров NiFi на Python/Java.
  • Опыт использования CDC инструментов (Debezium, Flink CDC) c Oracle/ MS SQL / PostgreSQL.
  • Участие в проектировании архитектуры Big Data решений.
  • Понимание принципов работы распределенных движков обработки данных Spark/Trino/Star Rocks/Impala.
  • Опыт работы с форматом Iceberg.
  • Опыт работы с CI/CD инструментами (Gitlab CI, Jenkins). Опыт работы с Docker, K8s.

Условия:

  • Официальное оформление с первого дня — наша IT-компания аккредитована.
  • Развитие профессиональной экспертизы: ты сможешь обучаться и посещать конференции и митапы за счёт Банка.
  • Классная команда — мы за радость общения и дружбу в коллективе.
  • Комфортный офис — у нас уютные рабочие пространства, комнаты отдыха с настольным теннисом, кикером, плойкой и другими плюшками.
  • Коворкинги в Сочи и на Алтае — туда можно отправиться поработать и отдохнуть в режиме 4/3 за счёт Банка.
  • Более 50 социальных программ — ДМС со стоматологией и страхованием от несчастных случаев и болезней, изучение английского, софинансирование летнего, зимнего и тематического отпуска, уникальные условия по продуктам и услугам Банка.
  • Забота о детях: мы проводим праздники и экскурсии для детей наших сотрудников, софинансируем частный детский сад, отдых в лагере и подготовку к экзаменам.
  • Много спорта: у нас есть клубы и секции, можно заниматься любым спортом за счёт Банка и участвовать в корпоративных турнирах и чемпионатах. Также мы софинансируем коллегам абонементы в фитнес-клубы.
  • Вовлеченность, комфорт и свобода. У нас минимум бюрократии, нет дресс-кода, гибкое начало и завершение рабочего дня.
  • Самая яркая корпоративная культура — летние IT-фесты, путешествия по России и за её пределами!
Кирилл Юкаев IT-рекрутер
Совкомбанк Технологии

О компании Совкомбанк Технологии

Сфера
Банки / Финтех
Размер
1001+

Совкомбанк Технологии — аккредитованная ИТ-компания финансовой группы Совкомбанк и ведущий поставщик услуг в сфере банковского ИТ-аутсорсинга по всей России. Офисы компании находятся в 19 крупнейших городах России. Входит в ТОП-3 лучших ИТ-работодателей России по данным «Хабр Карьера» за 2023 год.

Похожие вакансии

300 000 – 360 000 ₽/мес на руки
📍 Москва (м. Смоленская), Санкт-Петербург (м. Площадь Ленина), Минск (Беларусь), офис или гибрид
300 000 – 490 000 ₽/мес на руки
📍 Москва (м. Парк культуры), Санкт-Петербург (м. Площадь Ленина), Казань, можно удалённо из РФ
250 000 – 400 000 ₽/мес на руки
📍 Москва (м. Деловой центр), Санкт-Петербург (м. Лиговский проспект), офис или гибрид
220 000 – 300 000 ₽/мес на руки
📍 Москва (м. Парк культуры), Санкт-Петербург (м. Площадь Ленина), Казань, Минск (Беларусь), офис или гибрид
200 000 – 350 000 ₽/мес на руки
📍 Москва (м. Парк культуры), Санкт-Петербург (м. Площадь Ленина), можно удалённо из РФ