ETL разработчик Hadoop (Решения для моделирования)

Чем ты будешь заниматься

• Реализацией интеграций в гетерогенной среде с помощью Python / Spark.
• ETL.
• Применением моделей в OpenShift.
• Работа с AirFlow, написание кастомных операторов, формирование дагов.
• Оптимизацией дагов.
• Контейнеризация процессов загрузки / выгрузки данных.
• Оптимизацией существующего кода.
• Базовые знания работы Kerberos.
• Развертыванием, поддержкой, внедрением DevOps инструментов.
• Разработкой и поддержкой платформы исполнения моделей.

Ожидания

• Опыт реализации интеграции в гетерогенных средах.
• Понимание и опыт работы со средствами экосистемы технологий Hadoop.
• Знание Python / Scala (Spark).
• Знание Apache AirFlow.
• Знание Apache Kafka.
• Знание Docker.
• Опыт решения ETL / data engineering задач.

Как преимущество:

• Знание Java.
• Приветствуется опыт работы с REST сервисами.
• Разработка микросервисов для внутренних инфраструктурных задач.
• Опыт работы с Grafana, разработка мониторинга на Grafana.
• Опыт работы с ELK.
• Опыт построения DevOps-инфраструктуры.
• Знание и опыт администрирования Linux-систем.
• Опыт работы с OpenShift / Kubernetes.
• Понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО.
• Опыт построения фреймворков с нуля.

Условия

• Гибкий график работы — в офисе, удаленно или в гибридном формате.
• Поддержка новичков по программе наставничества Buddy.
• ДМС с возможностью подключения близких родственников.
• Сервис психологической поддержки, ведь нам очень важно, как ты себя чувствуешь.
• Корпоративный кафетерий льгот с возможностью компенсации билетов и отелей в отпуске, абонементов в спортзал, спортинвентаря, билетов в театр и многого другого.
• Насыщенная инножизнь: лекции и мастер-классы от известных спикеров, тимбилдинги, корпоративная библиотека и многое другое.
• Скидки и купоны от сотен компаний-партнёров на единой платформе.
• Маркетплейс мерча с собственной корпоративной валютой, которая начисляется за участие в активностях.
• Дополнительные выходные в дни радостных (и не только) событий.
• Дополнительный оплачиваемый отпуск (3 календарных дня).
• Широкие возможности внутреннего и внешнего обучения.
• Необходимая техника и софт для работы.
• Конкурентная зарплата по итогам интервью, наличие премиальной составляющей.

Вместе с нами ты сможешь решать интересные задачи, профессионально расти и развиваться, а также участвовать в кросс-командных проектах и определять собственную траекторию развития.