Все вакансииData EngineeringRemoteMiddle

Hadoop Administrator (RT.DataLake)

в Ростелеком

160 000 —‍ 220 000 ₽/мес на руки

📍 Москва (м. Проспект Вернадского)Санкт-Петербург (м. Площадь Александра Невского)Можно удалённо из РФ

Специализация

Data Engineering

Уровень

Middle

Мы скомпилировали свой дистрибутив на базе экосистемы Hadoop, активно пользуемся им внутри и снаружи на Петабайтных объемах данных.

У нас есть код на Ansible, позволяющий устанавливать, запускать, керберизовать кластер Hadoop и компоненты его экосистемы (Spark, Hive, etc), а также управлять ими, продолжаем расширять его функционал и в связи с этим хотим усилить команду разработки. Данный код используется внутренними и внешними клиентами для управления кластерами.

У нас большая команда хадуповодов, мы выступаем на профильных конференциях, пишем статьи и будем очень рады если ты присоединишься к нам. Если нет опыта в больших данных, но есть желание — обучим.

Технологии/инструменты

AnsibleBashGitLinux

Чем предстоит заниматься

Автоматизировать всё, что не автоматизировано для управления кластерами, добавлять новые компоненты.
Взаимодействовать с командой поддержки и тестирования, участвовать в развитии продукта.

И еще:

Доработка open source-исходников компонент экосистемы Hadoop и самого Hadoop (90% Java/Scala, 10% Python&C).
Сборка пакетов дистрибутива.
Тестирование и доработка кода или пакетов на новых операционных системах.
Написание Jenkins-задач.
Доработка Docker-образов.
Работа с безопасностью, исправление уязвимостей.

Ждём от кандидата

Опыт написание ролей на Ansible.
Умение писать на Bash.
Знание Git.
Опыт администрирования Linux.

Желательно, но необязательно:

Опыт работы с экосистемой Hadoop (Spark, Hive, HDFS).
Docker, Docker Compose.

Будут супер:

Опыт с NiFi, Kafka, Airflow и другими компонентами экосистемы.
Знание Python, Java.
Навыки в сфере ИБ.
Умение настраивать компоненты Hadoop-экосистемы под высокие нагрузки.
Понимание принципов работы JVM.
Понимание основных принципов работы сетей.
Понимание принципов работы Kerberos и PKI.

Условия

Для жителей Москвы — офис в БЦ Академик, победивший в номинации лучший проект "Бизнес-центр класса А. Москва".
Офисы во всех крупных городах.
Гибкий график.
Возможна полная или частичная удаленная работа.
Оформление по ТК.
Белая и конкурентоспособная зарплата.
Квартальные и годовые бонусы.
ДМС, компенсация обучения и спорта.
Корпоративное обучение: внутренние митапы, участие в конференциях, доступ к корпоративным библиотекам технической и бизнес литературы.
И прочие плюсы аккредитованной ИТ-компании.

Полезные ссылки

Полина Видикер IT HR

О компании Ростелеком

Сфера

Телеком

Размер

1001+

Ростелеком — крупнейший в России интегрированный провайдер цифровых решений и услуг для населения, бизнеса и государства. Их миссия — дать людям качественные и удобные цифровые сервисы для комфортной жизни и эффективного бизнеса.