Data Engineer

Обязанности

• Проектирование, разработка и поддержка инфраструктуры для хранения и обработки больших данных.
• Проектирование и разработка ETL-процессов, используя внутренние и внешние источники данных для NRT и Batch поставок данных.
• Проектирование и настройка систем отчетности для разовых и периодических выгрузок данных для внутренних и внешних заказчиков.

Требования

• Опыт разработки на Java / Python / Scala не менее 3 лет.
• Опыт в написании функций для первичной обработки, преобразования и агрегации данных на одном из или нескольких вышеуказанных языках.
• Опыт разработки в экосистеме Hadoop (HDFS, YARN, Оркестраторы).
• Хорошие знания фреймворка Spark; Базовый опыт оптимизации запросов.
• Опыт разработки в SQL (Oracle, PostgreSQL, Greenplum) и NoSQL (Hive, Impala).
• Опыт в создании алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц.
• Хорошее знание SQL (понимание, от чего зависит оптимальность запроса; умение разбираться в сложных аналитических запросах).
• Уверенные знания теории DWH.
• Опыт работы с CI/CD-решениями на базе Jenkins и Bitbucket/Git.

Условия

• Комфортный современный офис.
• Ежегодный пересмотр зарплаты, квартальную и годовую премию.
• Корпоративный спортзал и зоны отдыха.
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
• Программа адаптации и помощь руководителя на старте.
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
• Вознаграждение за рекомендацию друзей в команду Сбера.