Data Еngineer

Мы создаём высоконагруженный сервисный сайт, который занимает 3-е место в мире по рейтингу Similarweb среди сайтов по поиску работы. Ежедневно к нам приходят около полутора миллионов пользователей, смотрят более 100 миллионов страниц (до 10 000 в секунду) и делают около 1 миллиона откликов на вакансии. Мы хотим знать о всех действиях пользователя и понимать их поведение. Поэтому внедряем различные инструменты для сбора и анализа данных, и сейчас ищем человека, который будет развивать наше дата-направление.

Стек

• Apache Hadoop, Hive Metastore, Spark, Flink, Kafka, Airflow, Trino.

Инструменты

• Hue, Jupyter, Zeppelin, Querybook, Jenkins, Forgejio, Jira.

Задачи

• Проектирование и реализация архитектуры хранения и обработки данных.
• Оптимизация производительности и обеспечение надежности работы хранилища и процессов обработки данных.
• Разработка и реализация новых инструментов.

Необходимые знания и компетенции

• Опыт построения ETL/ELT-процедур.
• Опыт работы с CDC, Apache Iceberg, dbt (как преимущество).
• Знание базовых алгоритмов и структур данных.
• Понимание паттернов проектирования архитектуры хранилищ данных (Data Mesh, Data Fabric, Data Federation, DWH, Lakehouse).
• Понимание ООП, SOLID, Unit Tests.
• Уверенное знание Python.
• Знание Java и опыт написания Flink Job (как преимущество).
• Продвинутый SQL.
• Практический опыт работы с Spark, Airflow, Kafka.
• Знание механизмов деплоя Airflow (Celery, K8s).
• Опыт работы с K8s.

Условия

• Гибкое начало рабочего дня с 9 до 11.
• Можно работать удалённо из любой точки мира или посещать московский или региональные офисы.
• Современный технологический стек.
• Возможность повлиять на выстраивание процессов.
• Сможешь поучаствовать в проекте формирования семантического слоя данных.
• ДМС со стоматологией с первого дня оформления.
• 4 days-off в году.
• Корпоративный сервис с поддержкой юриста, психолога и финансового консультанта.
• Промокоды и бонусы от партнеров.
• Электронная корпоративная библиотека.
• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.
• Комфортный большой офис в Москве с тренажерным залом, капсулой сна, свежими овощами/фруктами и бесплатными завтраками.