Разработчик ETL (Hadoop)

Временная зона

UTC +3 (GMT +3), Москва.

Задачи

• Выполнение функциональных обязанностей в рамках проекта по Миграции Платформ Данных (Arenadata Hadoop).
• Обеспечение загрузки необходимых данных в Data Lake или необходимые витрины данных.
• Проектирование и разработка, тестирование и внедрение ETL процессов, используя ETL Framework и конвейер данных.
• Реализация различных интеграций в гетерогенной среде с помощью Python / Spark.
• Оптимизация существующего кода и используемых платформ.
• Конфигурация потоков данных из систем источников, их мониторинг, своевременную модификацию, оптимизацию.
• Оптимизация конвейера данных и ETL-процессов для поддержания процессов проверки качества данных.
• Контейнеризация процессов загрузки / выгрузки данных в Data Lake.

Ожидания

• Опыт работы в роли разработчика на стеке Hadoop не менее 2-х лет.
• Опыт разработки приложений с использованием инструментария экосистемы Hadoop (Spark Streaming, HBase, Spark SQL, Kafka, Hive, Impala, Hue и т.д.).
• Опыт разработки на Java / Python / Spark / Scala.
• Понимание принципов модели распределенных вычислений.
• Опыт разработки ETL / Self service ETL процессов по наполнению данными Data Lake, формирование витрин данных на Hadoop желателен.
• Опыт решения ETL / Data Engineering задач.
• Опыт реализации интеграции в гетерогенных средах.
• Навыки работы с системами контроля версий / репозиториями кода на основе Git.
• Успешный опыт работы в команде от 7 человек.
• Понимание методологий Agile / Scrum.
• Знание Unix / Linux, навыки работы в Shell.
• Опыт развертывания Linux серверов / контейнеров, использования скриптовых языков (Bash) как преимущество.
• Базовые знания работы Kerberos как преимущество.
• Знание и опыт работы с инструментами DevOps рассматривается как преимущество.

Условия

• Гибкий график работы — в офисе, удаленно (только с московским часовым поясом) или в гибридном формате.
• Поддержка новичков по программе наставничества Buddy.
• ДМС с возможностью подключения близких родственников.
• Сервис психологической поддержки, ведь нам очень важно, как ты себя чувствуешь.
• Корпоративный кафетерий льгот с возможностью компенсации билетов и отелей в отпуске, абонементов в спортзал, спортинвентаря, билетов в театр и многого другого.
• Насыщенная инножизнь: лекции и мастер-классы от известных спикеров, тимбилдинги, корпоративная библиотека и многое другое.
• Скидки и купоны от сотен компаний-партнёров на единой платформе.
• Маркетплейс мерча с собственной корпоративной валютой, которая начисляется за участие в активностях.
• Дополнительные выходные в дни радостных (и не только) событий.
• Дополнительный оплачиваемый отпуск (3 календарных дня).
• Широкие возможности внутреннего и внешнего обучения.
• Необходимая техника и софт для работы.
• Конкурентная зарплата по итогам интервью, наличие премиальной составляющей.

Вместе с нами ты сможешь решать интересные задачи, профессионально расти и развиваться, а также участвовать в кросс-командных проектах и определять собственную траекторию развития.