Data Engineer (Data Lake)

Купер — это сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из foodtech-стартапа в высокотехнологичную компанию. Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 600+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.

Сейчас мы в поисках Data Engineer в команду Data Lake.

Чем предстоит заниматься

• Осуществлять вместе с командой миграцию из Yandex Cloud в cloud.ru.
• Разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, S3, Greenplum, ClickHouse, используя Python и Spark (Scala).
• Подключать новые источники к Trino.
• Создавать инструменты для упрощения ETL-разработки.
• Развивать практику использования Trino в компании.

Мы ожидаем от кандидата

• Понимание принципов организации хранилищ данных, работы колоночных СУБД.
• Уверенное знание SQL, Python.
• Готовность изучать Spark (Scala).
• Стремление обосновывать и документировать появляющиеся решения.

Будет плюсом, если ты:

• Программировал на Scala/Java.
• Знаешь фреймворки Apache Spark, Apache Airflow.
• Работал с форматами Iceberg, Parquet, Protocol Buffers, Avro.
• Использовал Trino/Greenplum/ClickHouse.
• Использовал Kubernetes.
• Знаком с Kafka Connect.

Что интересного есть у нас

• ДМС.
• Предоставляем множество корпоративных бонусных программ.
• Работаем удаленно. В Москве есть большой и красивый офис — welcome.
• Выдаем технику для работы на твой выбор.
• Помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол).
• Уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.

А ещё:

• Мы сами участвуем в конференциях как спикеры.
• Проводим внутренние митапы.
• Не боимся экспериментировать с новыми решениями и технологиями.