Data Engineer

Задачи

• Создавать новые надежные и улучшать существующие пайланы, обрабатывающие терабайты данных.
• Разрабатывать новые витрины данных для аналитики и построения предиктивных моделей на основе многопетабайтного хранилища и множества источников.
• Интегрировать данные из новых источников с продакшен-системами, решающими задачи near real-time обработки данных, и ML-сервисами.

Ожидания

• Понимание SQL, умение составить нетривиальный запрос (JOIN'ы, подзапросы и т.д.).
• Умение писать читабельный код на Python (уметь в 3 версию, не бояться 2).
• Навыки работы с Bash, Git, Linux.
• Опыт работы с экосистемой Hadoop: HDFS, Spark, Hive.

Будет плюсом:

• Знание средств автоматизации и разработки пайплайнов (Jenkins, AirFlow, Luigi).

Условия

• Оформление по ИП/ГПХ.
• Оплачиваемый отпуск 28 дней.
• Гибкий график.
• Годовая премия (по результатам работы).
• Техника для работы за счет компании.
• Внутренняя программа обучения.
• Участие в конференциях, мероприятиях, митапах.