Мы создаем и развиваем корпоративный движок потоковой обработки данных на основе Apache Flink, который используется разработчиками банка для построения приложений обработки данных в реальном времени (фрод-мониторинг, скоринг, обогащение транзакций, расчеты).
Вы будете работать в команде, которая отвечает за фреймворк и платформенные возможности Flink. Мы не пишем бизнес-логику для конкретных сервисов, а создаем инструменты, лучшие практики и инфраструктурные компоненты, чтобы потребители (другие команды банка) могли эффективно, безопасно и надежно разрабатывать и эксплуатировать свои потоковые приложения в Kubernetes.
Задачи
- Анализ, проработка ТЗ и приемка реализации механизмов Stateful-обработки с использованием внешних State Backends (таких как S3-совместимое объектное хранилище, HBase, возможно Fluss) для сценариев соединения с большими справочниками и хранения состояния приложений.
- Проектирование решений для повышения отказоустойчивости и управляемости приложений (savepoints, автоскейлинг, восстановление).
- Разработка требований к интеграции Flink-приложений с корпоративными системами: аутентификацией, секрет-менеджерами, системами логирования (ELK), метриками (Prometheus/Grafana).
- Проработка требований к системе мониторинга состояния Flink-кластеров и джобов (метрики JVM, backpressure, checkpoint durations, lag).
- Анализ и проектирование процесса управления жизненным циклом приложений (деплой, апгрейд, остановка) через специализированный корпоративный портал управления сервисами. Интеграция Flink JobManager/REST API с этим порталом.
- Выявление и формализация потребностей внутренних команд-разработчиков, создание подробной технической документации, чек-листов и best practices.
- Тестирование реализованных функций: разработка тест-планов, сценариев (включая негативные и нагрузочные), проведение приемо-сдаточных испытаний.
Мы ожидаем
- Опыт работы системным или бизнес-аналитиком от 4 лет, из них не менее 2 лет в области потоковой обработки данных или Big Data.
- Знание принципов работы систем мониторинга: Prometheus, Grafana. Умение читать и интерпретировать метрики.
- Продвинутый уровень SQL, умение работать с технической документацией (RFC, официальная docs).
- Навыки декомпозиции сложных задач, построения процессов, отличные коммуникационные навыки для работы с техническими командами (разработчики, DevOps) и потребителями (data-инженеры).
- Умение четко и структурно документировать требования в виде ТЗ/User Stories с критериями приемки.
Будет плюсом
- Глубокое понимание архитектуры Apache Flink: концепции операторов, state, checkpointing, savepoints, exactly-once семантика, роль JobManager/TaskManager.
- Практический опыт проектирования или эксплуатации Flink-приложений. Понимание проблематики хранения и восстановления состояния.
- Знание экосистемы Hadoop/Big Data: HDFS, HBase, Kafka. Понимание принципов работы с объектными хранилищами (S3).
- Опыт работы с Kubernetes: понимание основных концептов (Pods, Deployments, Services, ConfigMaps).
Условия
- Комфортный современный офис: БЦ Даниловский форт, рядом с м. Тульская, Верхние котлы.
- Возможность выбрать удобный график — офис/гибрид.
- Ежегодный пересмотр зарплаты, годовая премия.
- Корпоративный спортзал и зоны отдыха.
- Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
- Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.
- Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
- Вознаграждение за рекомендацию друзей в команду Сбера.
