Купер

Senior Data Engineer (RnD)

в Купер

от 350 000 ₽/мес на руки

📍 Москва (м. Новокузнецкая)Санкт-Петербург (м. Адмиралтейская)Можно удалённо из РФ
Специализация
Data Engineering
Уровень
Senior
Команда
21 - 50 человек

Привет! На связи Купер.тех!

Купер — это сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из foodtech-стартапа в высокотехнологичную компанию. Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 1 300+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.

В команде Data Engineering уже более 30 профессионалов.

Мы создаем хранилища данных и инструменты для их анализа и использования в аналитике, BI, ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & Development" или просто RnD. Команда занимается исследованием и внедрением новых технологий, созданием инструментов для работы с данными, разрабатывает стандарты. Наш фокус на Data Lake: загрузка данных из источников (API, Kafka, CDC, PostgreSQL, MySQL и другие), трансформация данных в табличный вид, разработка инструментов по транспортировке данных между аналитическими СУБД (Greenplum, ClickHouse) и S3.

Технологии/инструменты

Python/ScalaTrino/SparkApache AirflowApache IcebergDebeziumPostgreSQLMySQL

Чем предстоит заниматься

  • Развивать существующее CDC-решение на базе Debezium и Spark Streaming: улучшать мониторинг, автоматизировать то, что делается вручную.
  • Разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, Greenplum, ClickHouse, используя Python и Spark (Scala).
  • Участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании.
  • Развивать практику использования Trino в компании.
  • Участвовать в разработке интеграции Trino с каталогом метаданных Datahub.

Мы ждём от кандидата

  • Опыт работы от 3 лет.
  • Понимание принципов организации хранилищ данных, работы колоночных БД.
  • Уверенное знание SQL, Python.
  • Готовность изучать Spark (Scala).
  • Стремление обосновывать и документировать появляющиеся решения.
  • Опыт работы с MPP-системами.
  • Понимание принципов CI/CD.

Будет плюсом, если ты

  • Программировал на Scala/Java.
  • Знаешь фреймворк Apache Spark, Apache Airflow.
  • Умеешь оптимизировать вычисления в MPP-системах.
  • Работал с форматами Iceberg, Parquet, Protobuf, Avro.
  • Использовал Trino/Greenplum/ClickHouse.
  • Знаком с Kafka Connect.

Что интересного у нас есть

  • ДМС с первого месяца работы в компании.
  • Предоставляем множество корпоративных бонусных программ.
  • Работаем удаленно. В Москве есть большой и красивый офис — welcome.
  • Выдаем технику для работы на твой выбор.
  • Помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол).
  • Уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.

А ещё

  • Мы сами участвуем в конференциях как спикеры.
  • Проводим внутренние митапы.
  • Не боимся экспериментировать с новыми решениями и технологиями.
Аделина Пшукова Младший ИТ-рекрутер
Купер

О компании Купер

Сфера
Продуктовая компания
Размер
1001+

Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 1 300+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.

Похожие вакансии

7 000 – 9 000 $/мес на руки
📍 ЕС, Великобритания, США, полная удалёнка, помощь с переездом
420 000 – 560 000 ₽/мес на руки
📍 Москва (м. Белорусская), Санкт-Петербург (м. Новочеркасская), Казань, Самара, полная удалёнка
400 000 – 480 000 ₽/мес на руки
📍 Москва (м. Смоленская), Санкт-Петербург (м. Площадь Ленина), Минск (Беларусь), можно удалённо из РФ
400 000 – 480 000 ₽/мес на руки
📍 Москва (м. Смоленская), офис или гибрид
390 000 – 520 000 ₽/мес на руки
📍 Москва (м. Динамо), можно удалённо из РФ