Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
Ozon

Hadoop DevOps Engineer (Платформа аналитики)

в Ozon

от 150 000 ₽/мес на руки

МоскваСанкт-ПетербургRemote
iconМосква, Россия
Специализация
DevOps
Уровень
Middle
Команда
11 - 20 человек

Ozon — одна из крупнейших российских e-commerce компаний. Ежедневно обрабатывается более 200,000 заказов, которые доставляются в 6500 населённых пунктов по всей России.

Технологии/инструменты

Python/Go/BashLinuxPrometheus/GrafanaHadoopHDFS/HiveHBaseHDPAmbariRangerSparkHueYarnJupyterAirflowKVMAnsible

У нас интересно

  • Большой Hadoop кластер, который вырастет в несколько раз уже в этом году.
  • Мы готовимся перейти на мульти-ЦОД архитектуру, обеспечив максимальную надежность и доступность данных, что означает построение новых кластеров.
  • Команде предстоит совместно с инженерами Data Science построить полноценный DataLake на Hadoop.
  • Мы не сильно обросли legacy, есть возможность определять правила игры, выбирать технологии и подходы.
  • Есть широкий спектр задач на выбор — от повседневной эксплуатации до творческих RND и исследований.
  • Мы адепты концепции Everything as Code: минимум ручных действий, максимум автоматизации. Мы используем лучшие практики для построения внутренней экосистемы, позволяющей поддерживать множество проектов красиво и эффективно.

Чем предстоит заниматься

  • Строить, развивать и эксплуатировать кластера Hadoop (HDFS / Hive, HBase, HDP, Ambari, Ranger, Spark, Hue, Yarn).
  • Сопровождать и развивать сервисы вокруг Hadoop (Jupyter, Airflow, KVM).
  • Разрабатывать инфраструктурный код для поддерживаемой инфраструктуры (Ansible).
  • Автоматизировать рутинные задачи, разрабатывать и развивать решения "as a Service".
  • Обеспечивать устойчивость инфраструктуры к отказам и катастрофам (HA & DR).
  • Сотрудничать с командой инженеров Data Science (как последняя линия поддержки, "никто кроме вас").
  • Траблшутить и мониторить поддерживаемую инфраструктуру и сервисы.
  • Обязательно документировать сервисы.

Ожидания

  • Большой опыт эксплуатации / развития / построения кластеров на технологиях из стека Apache Hadoop.
  • Понимание концепции хранилищ данных и ETL-процессов.
  • Умение писать и тестировать инфраструктурный код, понимание концепции Infrastructure as Code.
  • Понимание принципов, опыт построения отказоустойчивых сервисов и эксплуатации высоконагруженных систем.
  • Умение автоматизировать рутинные задачи, деплоймент сервисов и инфраструктуры, разрабатывать инструментарий и писать под них тесты (мы пишем на Python / Go / Bash).
  • Понимание архитектуры, принципов и механизмов работы ОС Linux (управление процессами, файловые системы, сетевой стек) на уровне системного администратора.
  • Опыт работы с технологиями виртуализации (оркестрация как плюс).
  • Понимание принципов мониторинга и навыки траблшутинга, как системных, так и прикладных компонентов: какие метрики собирать, куда смотреть при проблемах, какие дашборды для этого нужны (мы используем Prometheus / Grafana).

Что предлагаем

  • Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce.
  • Свободу действий в принятии решений.
  • Достойный уровень заработной платы.
  • Профессиональную команду, которой мы гордимся.
  • Возможность развиваться вместе с нашим бизнесом.
Маргарита Бастрыгина IT Recruiter
Ozon

О компании Ozon

Сфера
Электронная коммерция
Инвестиции
$100M+
Размер
1001+

Ozon — одна из крупнейших российских e-commerce компаний. Ежедневно обрабатывается более 200,000 заказов, которые доставляются в 6500 населённых пунктов по всей России.

Похожие вакансии

300 000 – 400 000 ₽/мес на руки
полная удаленка
300 000 – 400 000 ₽/мес на руки
Москва (м. Тульская) или полная удаленка — на выбор
300 000 – 400 000 ₽/мес на руки
Москва (м. Краснопресненская) или полная удаленка — на выбор
300 000 – 400 000 ₽/мес на руки
Москва (м. Нагатинская) или полная удаленка — на выбор
300 000 – 400 000 ₽/мес на руки
Москва, Санкт-Петербург или полная удаленка — на выбор