Big Data Engineer

Задачи

• Обеспечения сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и неструктурированных данных из различных источников, подготовку, очистку и пред обработку данных из внешних источников, построение агрегатов.
• Исследование источников данных.
• Создание алгоритмов загрузки данных в витрины.
• Написание функций и хранимых процедур для преобразования и агрегации данных.
• Настройка первичной обработки данных от источников (очистка, обогащение и т.д.).
• Управление качеством данных.
• Разработка новых витрин/объектов исходя из требований системных аналитиков.

Требования:

• Опыт работы по направлению от 1 года.
• Хорошее знание SQL и реляционных баз данных: аналитические функции, индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации).
• Знание стека Hadoop (HDFS, YARN, HIVE) и Spark.
• Знание Scala/Java на уровне, достаточном для создания витрин данных на Spark.
• Понимание процессов ETL, ELT.

Будет плюсом:

• Опыт работы с Teradata, GreenPlum, Apache Kafka.
• Опыт работы в банковской сфере.

Условия

• Профессиональный и карьерный рост: работа над масштабным проектом в крупнейшем банке России.
• Знание — сила: обучение с курсами и поездками на конференции за счет работодателя.
• Огненные бонусы к зарплате: годовая премия, плюшки от компаний-партнеров.
• Забота о здоровье: расширенный соц пакет (ДМС, страхование жизни), бесплатный тренажерный зал.
• Комната отдыха с удобными креслами и пополняющейся библиотекой.
• Ожидание VS реальность: у них нет бюрократии с многотомными ТЗ и черно-белого дресс-кода, горизонтальная иерархия.