Data Engineer (Python, Hadoop, Spark)

Основные задачи

• Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными, их обновление, расчет метрик качества данных для мониторинга).
• Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов.
• Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana.
• Написание Unit-тестов (Pytest), тестов для различных участков ML-пайплайна, участие в код-ревью.

Мы сможем рассмотреть на вакансию кандидатов, у которых есть

• Опыт работы с Python от 2 лет.
• Опыт с Hadoop, Hive, Spark.
• Знание SQL (чтобы писать и оптимизировать запросы).
• Знание классических алгоритмов и структур данных.
• Опыт работы с Docker.
• Умение пользоваться Git'ом и работать в команде.

Будет большим плюсом

• Опыт работы с ML, выведения ML-моделей в продакшн.
• Опыт работы c Kubernetes, PySpark, Airflow и DS-фреймворков Python.

Мы предлагаем

• Схему мотивации: Fix + 15% квартальный бонус + 5% годовой бонус.
• Удобный офис в Москве или 100% удаленная работа.
• Гибкий график работы.
• Обратную связь, возможность профессионального и карьерного роста (2 раза в год оценка персонала).
• Возможность обучаться и сертифицироваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, отраслевые конференции, программа развития управленческих навыков, очные мастер-классы, платформы онлайн-образования и многое другое.
• Яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации.
• Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья.
• Программу привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров).
• Материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию.

Присоединяйся к одной из самых быстрорастущих цифровых команд России.