Мы — СОВКОМБАНК ТЕХНОЛОГИИ
IT-компания финансовой Группы «Совкомбанк», топ-3 работодателей по версии Хабр Карьера.
У нас работает более 5000 специалистов. Мы развиваем экосистему карты рассрочки "Халва", приложение "Совкомбанк Инвестиции" и собственные корпоративные продукты, проводим масштабные интеграции сервисов и компаний.
Присоединяйся к команде — давай вместе прокачивать финтех!
О проекте
Участие в проектах развития систем больших данных банка. Построение с нуля современной датаплатформы для крупного банка — создание технологического фундамента, который станет основой для аналитики, машинного обучения и работы с данными в режиме реального времени.
Датаплатформа состоит из:
- S3 Lakehouse (на базе Data Ocean Nova) — гибкое хранилище для работы с большими данными.
- Feature Platform — платформа для управления ML-фичами собственной разработки.
- Profile 360 — высокопроизводительное хранилище оперативных данных собственной разработки.
- ML-платформа (Kubeflow) — инфраструктура для развертывания ML-моделей.
Вы будете участвовать в проектировании и разработке сложных ETL-пайплайнов (как batch, так и streaming), интегрирующих компоненты платформы и наполняющих платформу данными.
Поскольку мы создаем платформу с нуля — значительная часть работы будет посвящена R&D и выбору оптимальных технологий (как из open-source решений, так и из проприетарного стека Data Ocean Nova). Вам предстоит подбирать и тестировать инструменты, находить оптимальные решения для инфраструктурных и бизнес-задач, принимать ключевые решения, которые определят эффективность всей системы.
Вы присоединитесь к сильной команде профессионалов, имеющей опыт построения подобных систем. Вместе с вами над платформой будут работать системные архитекторы, системные аналитики, разработчики других частей платформы (Feature Platform, Profile 360, ML), QA- и DevOps-инженеры, а также команда поддержки. У нас слаженный коллектив, где каждый вносит вклад в общий успех.
СТЕК: Spark, NiFi, S3, Iceberg, K8S, Kafka, Airflow
Обязанности:
- Разработка и поддержка ETL-процессов (batch и stream) для Lakehouse-платформы на базе S3.
- Интеграция данных из разнородных источников (Kafka, CDC, реляционные СУБД, REST-сервисы).
- Участие в проектировании технических и архитектурных решений, необходимых для реализации бизнес-задач.
- Взаимодействие с архитекторами, системными аналитиками, QA, DevOps.
- Наставничество для новых членов команды.
Требования:
- Опыт в Big Data от 2+ лет (Lakehouse, Hadoop).
- Глубокое знание SQL, оптимизация запросов в MPP движках.
- Знание Java/Scala на высоком уровне.
- Понимание принципов работы Spark.
- Практический опыт работы с потоковыми ETL-инструментами (NiFi, Flink, Kafka Connect), участие в проектах с онлайн потоковой аналитикой с большим количеством источников.
Будет плюсом:
- Знание Python на базовом уровне.
- Понимание процесса разработки процессоров NiFi на Python/Java.
- Опыт использования CDC инструментов (Debezium, Flink CDC) c Oracle/ MS SQL / PostgreSQL.
- Участие в проектировании архитектуры Big Data решений.
- Понимание принципов работы распределенных движков обработки данных Spark/Trino/Star Rocks/Impala.
- Опыт работы с форматом Iceberg.
- Опыт работы с CI/CD инструментами (Gitlab CI, Jenkins). Опыт работы с Docker, K8s.
Условия:
- Официальное оформление с первого дня — наша IT-компания аккредитована.
- Развитие профессиональной экспертизы: ты сможешь обучаться и посещать конференции и митапы за счёт Банка.
- Классная команда — мы за радость общения и дружбу в коллективе.
- Комфортный офис — у нас уютные рабочие пространства, комнаты отдыха с настольным теннисом, кикером, плойкой и другими плюшками.
- Коворкинги в Сочи и на Алтае — туда можно отправиться поработать и отдохнуть в режиме 4/3 за счёт Банка.
- Более 50 социальных программ — ДМС со стоматологией и страхованием от несчастных случаев и болезней, изучение английского, софинансирование летнего, зимнего и тематического отпуска, уникальные условия по продуктам и услугам Банка.
- Забота о детях: мы проводим праздники и экскурсии для детей наших сотрудников, софинансируем частный детский сад, отдых в лагере и подготовку к экзаменам.
- Много спорта: у нас есть клубы и секции, можно заниматься любым спортом за счёт Банка и участвовать в корпоративных турнирах и чемпионатах. Также мы софинансируем коллегам абонементы в фитнес-клубы.
- Вовлеченность, комфорт и свобода. У нас минимум бюрократии, нет дресс-кода, гибкое начало и завершение рабочего дня.
- Самая яркая корпоративная культура — летние IT-фесты, путешествия по России и за её пределами!
