Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Big Data Engineer

в HeadHunter

от 200 000 ₽/мес на руки

📍 Москва (м. Алексеевская)Полная удалёнка

Специализация

Data Science / Machine Learning

Уровень

Middle-to-Senior

Команда

6 - 10 человек

HeadHunter — крупнейшая российская компания интернет-рекрутмента, развивающая бизнес в России, Белоруссии, Казахстане. Клиентами HeadHunter являются свыше 350 тыс. компаний. Обширная база соискателей на hh.ru содержит более чем 50 млн резюме, а среднее дневное количество вакансий превышает 691 тыс.

Мы ищем опытного data engineer'а в команду, которая занимается созданием и развитием сервисов, основанных на анализе данных и машинном обучении. Нужно уметь администрировать и масштабировать кластеры на технологиях Kafka+Hadoop, программировать ETL, знать компоненты и инструменты для анализа.

Предстоит работать с кластером, на котором около 1 ПБ данных, с которыми работают десятки пользователей (программистов, аналитиков, data scientist'ов, автоматизированных систем). От его доступности и быстродействия зависят процессы разработки, обучения моделей, принятия продуктовых и бизнес-решений в компании.

Технологии/инструменты

HadoopSparkFlumeHivePresto (SQL query engine)Zeppelin

Подробнее о техническом департаменте

Более 140 человек в техдепе.
В среднем 6 человек в команде.
25 команд разработки.
Каждая команда делает задачу целиком, от проектирования до продакшна.
Кроссфункциональность — команды делают задачи для разных частей сайта.

Обязанности

Создание ETL-процессов, используя внутренние и внешние источники данных.
Разработка и поддержка инфраструктуры для хранения и обработки данных.
Обеспечение полноты и доступности данных для решения задач в области статистического анализа и машинного обучения.

Требования

Уверенные знания принципов работы баз данных и распределенных систем хранения и обработки данных.
Опыт работы с распределенными системами хранения и обработки данных: Hadoop, Spark, Hive, Zeppelin.
Владение одним из языков программирования: Python, Scala или Java.
Опыт администрирования OC Linux.
Уверенные знания Hadoop (must).
Уверенные знания SQL.

Что предлагаем

Удобное светлое рабочее место, со всем необходимым для работы (в т.ч. стулья Aeron и столы, за которыми можно работать стоя).
Белую» заработную плату, выплачиваемую точно в срок.
Гибкий график работы (забыть про утренние пробки — это бесценно).
Офис в шаговой доступности от метро «Алексеевская» (5-10 минут в зависимости от настроения).
Хороший тренажерный зал, а также занятия йогой, настольный теннис и кикер, футзал.
Кофе в кофемашинах, чай, печенье, фрукты и овощи, которые не исчезают с кухни.
Корпоративный ДМС (решаем вопросы со здоровьем быстро и удобно).
Помощь при переезде с возмещением расходов.
Специализированные семинары и тренинги.
Совместную постановку целей и индивидуальный план развития.