📍 Москва (м. Технопарк)Можно удалённо из РФ
Перед командой Data Lake стоит задача развития и поддержки основного компонента современной аналитической платформы данных. Платформа дает возможность быстрой, параллельной и независимой разработки решений прикладных бизнес-задач.
Ищем в команду DevOps-инженера, для поддержки и развития Data Lake смежных сервисов и внутренних процессов.
Технологии/инструменты
LinuxDockerKubernetesELKZabbixPrometheusGrafanaPostgreSQLNGINXGitlab CI/CDHadoopAirFlowRundeckJiraConfluence
- Hadoop (Hive, HDFS, HBase, YARN, Ranger).
Чем предстоит заниматься
- Обеспечивать работоспособность Data Lake (кластер Hadoop, AirFlow), Unix подобных ОС.
- Поддерживать и настраивать мониторинг различных систем и инфраструктуры.
- Анализировать и оптимизировать производительность различных компонент Data Lake.
- Поддерживать в актуальном состоянии имеющуюся инфраструктуру.
- Управлять обновлениями, настройками, устранять выявленные уязвимости.
- Настраивать и поддерживать процессы и инструменты интеграции Data Lake с системами-источниками и потребителями данных.
- Развивать, улучшать процессы CI/CD.
- Восстанавливать сервисы Data Lake после сбоев, обрабатывать инциденты.
- Документировать разрабатываемые процессы и обучать коллег работе с ними.
- Развивать архитектуру системы и внедрять новые технологические решения и сервисы.
Требования
- Опыт администрирования Unix-подобных ОС.
- Знания и опыт построения CI/CD-процессов.
- Понимание сетевых технологий и основных протоколов: TCP, UDP, HTTP, HTTPS, LDAP, Kerberos, DNS, DHCP.
- Базовое знание одного из скриптовых языков: Bash, Python.
- Опыт работы с системой управления конфигурацией.
- Понимание принципов работы систем мониторинга.
- Опыт разработки сервисов для автоматизаций рутинной работы.
- Понимание базовых принципов информационной безопасности.
- Обладание экспертизой работы с контейнерными технологиями и оркестрацией.
- Навыки работы с Kubernetes.
- Опыт администрирования web серверов.
- Опыт администрирования баз данных.
Будет плюсом:
- Знания в области устройства JVM / JDK.
- Навыки развертывания K8s и администрирования на Bare Metal.
- Опыт работы с кластером Hadoop (HDFS, YARN, Hive, HBase, Ranger), Livy, Spark, AirFlow.
- Навыки сбора различных приложений / сервисов из исходников.
- Администрирование кластеров БД.
Мы предлагаем
- Возможность работать удаленно только на территории РФ или в комфортном офисе на м. «Технопарк» с собственным спортзалом и кафе.
- Социальный пакет, включающий ДМС, страхование выезжающих за рубеж и не только.
- Обмен опытом и знаниями внутри виртуального комьюнити.
- Внешнее и внутреннее обучение, участие в профессиональных конференциях и митапах.
- Доплата до оклада за 14 дней в году по больничному листу.
- Доплата к отпуску в январе и мае.
- 3 оплачиваемых отгула в год.
- Скидки от компаний-партнеров и специальные предложения по банковским продуктам.
- Еще десятки льгот и бонусов для сотрудников.