Инженер Hadoop (Хранение и обработка данных)

Почему у нас интересно

• Большой растянутый на 3 DC Hadoop-кластер, который вырастет в несколько раз уже в этом году.
• Команде предстоит совместно с инженерами Data Science построить полноценный DataLake на Hadoop.
• Мы не сильно обросли legacy, есть возможность определять правила игры, выбирать технологии и подходы.
• Есть широкий спектр задач на выбор — от повседневной эксплуатации до творческих RnD и исследований.
• Мы адепты концепции Everything as Code: минимум ручных действий, максимум автоматизации. Мы используем лучшие практики для построения внутренней экосистемы, позволяющей поддерживать множество проектов красиво и эффективно.

Вам предстоит

• Строить, развивать и эксплуатировать кластеры Hadoop (HDFS, Hive, Ranger, Spark, Yarn).
• Развивать JupyterHub для наших Data Science и DE.
• Разрабатывать инфраструктурный код для поддерживаемой инфраструктуры (Ansible).
• Автоматизировать рутинные задачи, разрабатывать и развивать решения "as a Service".
• Обеспечивать устойчивость инфраструктуры к отказам и катастрофам (HA & DR).
• Сотрудничать с командой инженеров Data Science (как последняя линия поддержки, "никто кроме вас").
• Траблшутить и мониторить поддерживаемую инфраструктуру и сервисы.
• Обязательно документировать сервисы.

Мы ожидаем

• Большой опыт эксплуатации/развития/построения кластеров на технологиях из стека Apache Hadoop.
• Умение писать и тестировать инфраструктурный код, понимание концепции Infrastructure as Code.
• Понимание принципов, опыт построения отказоустойчивых сервисов и эксплуатации высоконагруженных систем.
• Умение автоматизировать рутинные задачи, деплоймент сервисов и инфраструктуры, разрабатывать инструментарий и писать под них тесты (мы пишем на Python/Java/Bash).
• Понимание архитектуры, принципов и механизмов работы ОС Linux (управление процессами, файловые системы, сетевой стек) на уровне системного администратора.
• Опыт работы с технологиями виртуализации (оркестрация как плюс).
• Понимание принципов мониторинга и навыки траблшутинга, как системных, так и прикладных компонентов: какие метрики собирать, куда смотреть при проблемах, какие дашборды для этого нужны (мы используем Prometheus/Grafana).

Мы предлагаем

• Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce.
• Свободу действий в принятии решений.
• Достойный уровень заработной платы.
• Профессиональную команду, которой мы гордимся.
• Возможность развиваться вместе с нашим бизнесом.

А ещё:

• Формат работы на выбор: гибрид, удалёнка, офисы в Москве, Санкт-Петербурге, Иннополисе, Новосибирске, Алматы и Астане.
• Участие в конференциях. Билеты, дорога и проживание за наш счёт.
• Митапы, техтолки, хакатоны и конкурсы. Внутри Ozon, по России и в международном сообществе.
• Завтраки в офисе и кофе-поинты для перекуса в любое время.
• ДМС со стоматологией и льготная медицинская страховка для близких, страхование от несчастных случаев, полис выезжающего за рубеж, онлайн-поддержка психолога.
• Курсы по запросу и поддержка в карьерном развитии. Свой Ozon Универ. Бесплатные курсы программирования, математики и английского языка для детей сотрудников.
• Возможность займа на приобретение жилья, рефинансирование ипотеки или ремонта — от 7% годовых.
• Беговой, волейбольный и футбольный клубы. Скидки на клубные карты фитнес-сетей. Йога в офисе.
• Бесплатные курсы Route 256 по Go, QA, C. Оплачиваемая стажировка Route Start для начинающих специалистов.
• Зарплатные проекты от Ozon Банка (эксклюзивные условия для сотрудников), Сбера, Т-Банка, Райффайзен Банка, Альфа-Банка.
• Партнёрские скидочные программы: от кафе и ресторанов до страхования имущества.
• Реферальный бонус за рекомендацию друга.