Инженер данных (Веб-аналитика)

Что нужно делать

• Поддерживать настроенную интеграцию данных Google Analytics и FireBase в Data Lake (Greenplum).
• Разрабатывать схемы подключения новых источников в DataLake.
• Принимать участие в архитектурных решениях.
• Разрабатывать процедуры формирования детального слоя данных и слоя витрин DataLake.
• Создавать и улучшать процессы обработки данных.
• Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus).
• Создавать manual и automated DQ тесты.
• Документировать работу в Confluence.

Ожидания

• Понимание принципа работы MPP баз данных (в частности Greenplum).
• SQL с навыком оптимизации запросов (чтение плана, оценка, оптимизация).
• Apache Spark — хотя бы понимание, что это и для чего используется. В нашем случае актуален PySpark, но если был опыт со Scala + Spark, то это ок.
• S3 — хотя бы понимание того, что это и для чего.
• Airflow — понимание на хорошем уровне (как писать даги, архитектура, best practice).
• Понимание CI/CD. Большой плюс, если есть опыт настройки процессов.
• Опыт работы с системами контроля версий (Git).
• Data Quality — хотя бы понимание, зачем это надо.
• Опыт работы: 3–6 лет.

Что мы готовы предложить

• Работу в компании с развитой инженерной культурой.
• Гибкую систему премирования.
• Расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания и оплата мобильной связи.
• Возможности профессионального роста, программы развития для сотрудников.
• Корпоративное обучение и доступ к базе знаний.
• Внутренние профессиональные сообщества и мероприятия.
• Автономность работы, возможность менять правила, ошибаться и создавать новое.
• Гибридный формат работы.
• Современный офис в 2 минутах ходьбы от МЦК ЗИЛ.