Senior Data Engineer (Big Data)

BIG DATA МТС — место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Мы ищем Senior Data Engineer в центр управления данными.

Группа Центр Компетенций в Управлении данными отвечает за создание масштабируемых фреймворков для организации управления данными в крупной компании. Группа отвечает за фреймворки по направлениям Метаданные, Качество данных, Справочные и основные данные, а также участвует в проработке стандарта AI-ready данные, стандарты работы дата-аналитиков и дата-инженеров. Ключевые метрики успеха: сокращение рутины при исполнении практик управления данными и повышение скорости при анализе данных и настройке регулярных процессов обработки данных. В 2026 году группа делает особенный акцент на повышении качества работы дата инженеров, поэтому ищем опытного инженера, который готов делиться своим опытом работы с Lakehouse, помогать внедрять его с нуля, а также оптимизировать уже настроенные ETL.

Вам предстоит

• Участвовать в проектировании и построении инновационных и амбициозных решений для обработки данных в масштабе компании.
• Разрабатывать технические рекомендации и внедрять лучшие практики в команде дата-инженеров.
• Проектировать и реализовывать миграции существующих решений на новую инфраструктуру (например с Hadoop/Hive/HDFS на Lakehouse/S3/Iceberg).
• Анализировать и оптимизировать ETL/SQL/Spark-приложений для повышения производительности на различной инфраструктуре.

Что нужно для этой работы

Технический стек

• Apache Spark: углубленное понимание внутренней архитектуры и оптимизация производительности, практический опыт интеграции Spark с нативными движками.
• SQL: продвинутые навыки работы с запросами и оптимизацией.
• Python и/или Java: уверенное владение одним из языков.
• Hadoop/HDFS: опыт работы с распределенными файловыми системами.
• Apache Kafka/Spark streaming/Flink: построение стриминговых решений и интеграций.
• Airflow: разработка и управление ETL-пайплайнами.
• СУБД: опыт работы как с реляционными БД, так и с MPP-системами (Greenplum, ClickHouse), понимание их внутреннего устройства, возможностей, особенностей и отличий.
• Lakehouse: опыт разработки ETL-процессов для S3 и Apache Iceberg.

Архитектурная экспертиза

• Понимание различных принципов проектирования хранилищ данных.
• Знание современных подходов к построению Data Lakehouse-архитектуры.
• Опыт выбора оптимальных систем хранения и обработки в зависимости от требований.
• Опыт построения эффективных ETL/ELT-архитектур (пакетная и потоковая обработка).

Диагностика и оптимизация

• Сильные навыки в выявлении и устранении узких мест производительности в дата-пайплайнах.
• Умение анализировать планы выполнения, настраивать СУБД и движки для улучшения производительности.
• Диагностика проблем с распределенными системами (Spark, Hadoop) и их эффективное решение.
• Мониторинг и анализ метрик производительности для выявления потенциальных проблем до их возникновения.

Будет плюсом

• Опыт выстраивания CI/CD для дата-пайплайнов.
• Знание технологий контейнеризации (Docker, Kubernetes) на уровне "как оно там заводится и крутится", еще лучше если разбираешься в этом.
• Понимание принципов Data Governance.
• Задачи Data Quality и Data Observability — практический опыт или хотя бы представление "как должно быть".
• Умение использовать LLM и AI-инструменты для повышения своей производительности.

Что мы предлагаем

• Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах.
• Профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше.
• Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации.
• Участие во внешних IT-конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch.
• Полезные курсы и вебинары в корпоративном университете и электронную библиотеку.

А еще

• ДМС с первого месяца работы, включая стоматологию.
• Страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях.
• Отпуск 28 календарных дней.
• Прием врачей общей практики и массаж в офисе.
• Мобильная связь за счет компании и льготные тарифы для близких.
• Подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.