Data Engineer (BigData и ML)

Цифры

• 6 Петабайт данных в хранилище.
• Более 100 сотрудников, работающих на платформе и развивающих ее.
• 0% скучных задач.

Задачи

• Организация автоматизированного сбора данных из различных источников в Data Lake на Hadoop.
• Перемещение и хранение информационных массивов.
• Настройка, интеграция и создание витрин данных для работы DA/DS.
• Подготовка датасетов для работы ML моделей.

Требования

• Высшее техническое образование.
• Уверенные знания Java или Scala.
• Уверенные знания и опыт работы от года со стеком Hadoop: HDFS, Yarn, Hive, Spark.
• Навыки работы с реляционными БД и key-value хранилищами: noSQL (HBase, Elasticsearch) и SQL (PortgreSQL).
• Навыки и культура работы с промышленным исходным кодом.
• Знание систем контроля версий (Git).
• Знание основ DevOps.

Будет плюсом:

• Знания и опыт использования Apache Kafka, Apache Flink, Apache Ignite, Apache Ni-Fi.
• Опыт работы с Docker и Kubernetes/OpenShift.
• Опыт разработки ETL процессов с использованием стека Hadoop.
• Знания Python.

Условия

• Полный рабочий день, но по удобному графику.
• Достойная заработная плата (оклад + премии).
• Оформление по ТК РФ.
• Социальный пакет (ДМС, английский язык, спортзал).
• Возможность обучения и сертификации за счет компании.
• Программа льготного кредитования в Сбербанке.
• Дисконт-программы от множества компаний партнеров.
• Возможность принять участие в других крупных и уникальных проектах банка.