Data Engineer DWH (Офис)

Обязанности

• Мы разрабатываем новое прикладное корпоративное аналитическое приложение (ПКАП) для переноса всех сервисов из устаревших систем, применяя современные технические решения. Это упростит и автоматизирует работу пользователей с данными.
• Наша цель — собрать данные из различных источников Банка, включая актуальные данные Т-1 и Near Real Time реплики. Вы будете работать с большими объемами данных (десятки Тб и сотни миллиардов записей), а также заниматься извлечением, загрузкой и обработкой данных с использованием современных инструментов.
• Данные для потребителей и источники представляют собой все те системы, которые ежедневно используются как физическими, так и юридическими лицами.

Требования

• Опыт работы: 3–6 лет.
• Опыт построения DWH.
• Построение логических и/или физических моделей данных.
• Опыт построения таблиц с версионированием данных (бизнес/техническая история, ескд2).
• Знание ETL-процессов.
• Проектирование алгоритмов загрузки (инит/архив, инкремент, выделение дельты изменений).
• SQL — уверенные знания.
• Опыт работы с инструментарием Hadoop (Spark, Hive, HDFS, YARN).
• Разработка Java-дистрибутива ETL-процесса.
• Работа с БД с использованием Spark Java Framework.
• Настройка параметров Spark-фреймворка (оптимизация Spark-контекста).
• Работа с дата-фреймами и датасетами.
• Оптимизация плана запросов.
• Опыт со Scala будет преимуществом.

Soft-skills:

• Высокая стрессоустойчивость.
• Управление результатом и ответственностью.
• Умение работать в команде.
• Высокие коммуникативные навыки.

Что мы предлагаем

• "Белая заработная" плата в аккредитованной ИТ-компании.
• Оформление по ТК РФ с первого дня.
• Стабильный доход.
• График 5/2 полный офис Москва (Кутузовский).

Преимущества компании

• Возможность "путешествовать" по проектам разных направлений (промка, фин, телеком, агро, медицина, ретейл) в рамках 1 работодателя.
• Свой собственный институт знаний, позволяющий проходить курсы как в онлайн формате, так и в записи по различным направлениям: разработка, тестирование, аналитика, а также прокачивать soft skills.
• Ментор. Возможность как быть ментор, так и иметь собственного ментора.
• ИПР — индивидуальный план развития.
• Митап — возможность присутствовать на митапов сотрудников, а также возможность проведение собственного митапа с нашей поддержкой.
• Возможность принять участие в развитии новых направлений компании, с привлечением экспертов и научных деятелей.
• Можно стать членом команды для участия в различных активностях компании, например, организация хакатонов по направлениям аналитики, разработки, тестирования, участие в различных выставках и конференциях.