Компания больше не ищет сотрудника. Посмотрите похожие предложения
Data Engineer
в Купер
250 000 — 350 000 ₽/мес на руки
Технологии/инструменты
Привет! На связи Купер.тех!
Купер — это сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из foodtech-стартапа в высокотехнологичную компанию. Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 1 300+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.
В команде Data Engineering уже более 20 профессионалов.
Мы создаем хранилища данных, а также инструменты для их анализа и использования в ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & development" или просто RnD. Команда занимается исследованием и внедрением новых технологий работы с данными, разрабатывает стандарты.
Чем нужно будет заниматься
- Масштабировать существующее CDC-решение на базе Debezium и Spark Streaming.
- Участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании.
- Внедрять near real-time аналитику на базе ksqlDB и ClickHouse, обучать аналитиков работе с новым решением.
- Развивать практику использования Trino в компании.
- Разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий AirFlow, Greenplum, ClickHouse, используя Python и Spark (Scala).
Ожидаем от тебя
- Понимание принципов организации хранилищ данных, принципов работы колоночных БД.
- Уверенное знание SQL, Python.
- Готовность изучать Spark (Scala).
- Стремление обосновывать и документировать появляющиеся решения.
- Знакомство с MPP системами.
- Понимание принципов CI/CD, Kubernetes.
- Опыт работы от 3-х лет.
Будет плюсом, если ты:
- Программировал на Scala / Java.
- Знаешь фреймворк Apache Spark, Apache AirFlow.
- Умеешь оптимизировать вычисления в MPP системах.
- Работал с форматами iceberg, parquet, avro.
- Использовал Trino / Greenplum / ClickHouse.
- Знаком с Kafka Connect.
Что интересного у нас есть
- ДМС.
- Предоставляем множество корпоративных бонусных программ.
- Работаем удаленно. В Москве есть большой и красивый офис — welcome.
- Выдаем технику для работы на твой выбор.
- Помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол).
- Уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.
А ещё
- Мы сами участвуем в конференциях как спикеры.
- Проводим внутренние митапы.
- Не боимся экспериментировать с новыми решениями и технологиями.
О компании Купер
Купер — это сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из foodtech-стартапа в высокотехнологичную компанию. Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 600+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.