Разработчик ETL (Hadoop)

Задачи

• Выполнение функциональных обязанностей в рамках проекта по Миграции Платформ Данных (Arenadata Hadoop).
• Обеспечение загрузки необходимых данных в Data Lake или необходимые витрины данных.
• Проектирование и разработка, тестирование и внедрение ETL-процессов, используя ETL Framework и конвейер данных.
• Реализация различных интеграций в гетерогенной среде с помощью Python/Spark.
• Оптимизация существующего кода и используемых платформ.
• Конфигурация потоков данных из систем источников, их мониторинг, своевременная модификация, оптимизация.
• Оптимизация конвейера данных и ETL-процессов для поддержания процессов проверки качества данных.
• Контейнеризация процессов загрузки/выгрузки данных в Data Lake.

Ожидания

• Опыт разработки на Java/Python/Spark/Scala.
• Понимание принципов модели распределенных вычислений.
• Опыт разработки ETL/Selfservice ETL-процессов по наполнению данными Data Lake, формирование витрин данных на Hadoop желателен.
• Опыт решения ETL/Data Engineering задач.
• Опыт реализации интеграции в гетерогенных средах.
• Навыки работы с системами контроля версий/репозиториями кода на основе Git.
• Успешный опыт работы в команде от 7 человек.
• Понимание методологий Agile/Scrum.
• Знание Unix/Linux, навыки работы в Shell.
• Опыт работы: 1–3 года.

Будет плюсом:

• Опыт работы в роли разработчика на стеке Hadoop от 2-х лет.
• Опыт разработки приложений с использованием инструментария экосистемы Hadoop (Spark streaming, Hbase, Spark SQL, Kafka, Hive, Impala, Hue и т.д.).
• Опыт развертывания Linux серверов/контейнеров, использования скриптовых языков (Bash).
• Базовые знания работы Kerberos.
• Знание и опыт работы с инструментами DevOps.

Условия

• Гибкий график работы — в офисе, удаленно или в гибридном формате.
• Поддержка новичков по программе наставничества Buddy.
• ДМС с возможностью подключения близких родственников.
• Сервис психологической поддержки, ведь нам очень важно, как ты себя чувствуешь.
• Корпоративный кафетерий льгот с возможностью компенсации билетов и отелей в отпуске, абонементов в спортзал, спортинвентаря, билетов в театр и многого другого.
• Насыщенная инножизнь: лекции и мастер-классы от известных спикеров, тимбилдинги, корпоративная библиотека и многое другое.
• Скидки и купоны от сотен компаний-партнёров на единой платформе.
• Маркетплейс мерча с собственной корпоративной валютой, которая начисляется за участие в активностях.
• Дополнительные выходные в дни радостных (и не только) событий.
• Дополнительный оплачиваемый отпуск (3 календарных дня).
• Широкие возможности внутреннего и внешнего обучения.
• Необходимая техника и софт для работы.
• Конкурентная зарплата по итогам интервью, наличие премиальной составляющей.
• Эксклюзивный зарплатный проект для сотрудников в банке ВТБ.

Вместе с нами ты сможешь решать интересные задачи, профессионально расти и развиваться, а также участвовать в кросс-командных проектах и определять собственную траекторию развития.