Data Engineer (RecSys)

Мы делаем продукт для миллионов пользователей и активно развиваем Data-driven-подход: запускаем десятки A/B-экспериментов, используем множество источников данных и витрин, а команда инженеров данных помогает всему этому работать быстро, надёжно и масштабируемо.

Сейчас мы ищем Data Engineer в команду рекомендаций. Это направление напрямую влияет на пользовательский опыт и эффективность ML-моделей. У нас получится поработать как с классическим Batch ETL, так и со стриминговой обработкой данных в реальном времени.

Что предстоит делать

• Поддерживать и развивать Batch ETL-пайплайны на Airflow для аналитических витрин и ML-моделей.
• Работать с потоковой обработкой: Spark Streaming, Kafka, MongoDB.
• Развивать feature store — добавлять новые фичи и интегрировать данные для моделей.
• Оптимизировать и документировать пайплайны, настраивать мониторинг.

Наш стек

• ClickHouse.
• Airflow.
• Spark (Spark Streaming, PySpark, Spark SQL).
• Kafka.
• MongoDB.
• Hive.
• S3.
• DataHub.

Требования

• Уверенное знание Python и SQL.
• Опыт построения ETL-процессов с использованием перечисленного стека.

Будет плюсом опыт работы с CI/CD, Docker, Grafana.

Условия

• Работа в сильной команде, состоящей из топовых аналитиков, аналитиков-разработчиков и инженеров.
• Топовое оборудование и весь необходимый софт.
• Официальное трудоустройство.
• ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки.
• Льготные условия ипотеки в рамках зарплатного проекта.
• Бесплатная подписка на сервисы партнеров.
• Насыщенная корпоративная жизнь.