Компания больше не ищет сотрудника. Посмотрите похожие предложения
Senior Data Engineer (RnD)
в Купер
от 350 000 ₽/мес на руки
Технологии/инструменты
Привет! На связи Купер.тех!
Купер — это сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из foodtech-стартапа в высокотехнологичную компанию. Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 1 300+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.
В команде Data Engineering уже более 30 профессионалов.
Мы создаем хранилища данных и инструменты для их анализа и использования в аналитике, BI, ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & Development" или просто RnD. Команда занимается исследованием и внедрением новых технологий, созданием инструментов для работы с данными, разрабатывает стандарты. Наш фокус на Data Lake: загрузка данных из источников (API, Kafka, CDC, PostgreSQL, MySQL и другие), трансформация данных в табличный вид, разработка инструментов по транспортировке данных между аналитическими СУБД (Greenplum, ClickHouse) и S3.
Чем предстоит заниматься
- Развивать существующее CDC-решение на базе Debezium и Spark Streaming: улучшать мониторинг, автоматизировать то, что делается вручную.
- Разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, Greenplum, ClickHouse, используя Python и Spark (Scala).
- Участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании.
- Развивать практику использования Trino в компании.
- Участвовать в разработке интеграции Trino с каталогом метаданных Datahub.
Мы ждём от кандидата
- Опыт работы от 3 лет.
- Понимание принципов организации хранилищ данных, работы колоночных БД.
- Уверенное знание SQL, Python.
- Готовность изучать Spark (Scala).
- Стремление обосновывать и документировать появляющиеся решения.
- Опыт работы с MPP-системами.
- Понимание принципов CI/CD.
Будет плюсом, если ты
- Программировал на Scala/Java.
- Знаешь фреймворк Apache Spark, Apache Airflow.
- Умеешь оптимизировать вычисления в MPP-системах.
- Работал с форматами Iceberg, Parquet, Protobuf, Avro.
- Использовал Trino/Greenplum/ClickHouse.
- Знаком с Kafka Connect.
Что интересного у нас есть
- ДМС.
- Предоставляем множество корпоративных бонусных программ.
- Работаем удаленно. В Москве есть большой и красивый офис — welcome.
- Выдаем технику для работы на твой выбор.
- Помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол).
- Уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.
А ещё
- Мы сами участвуем в конференциях как спикеры.
- Проводим внутренние митапы.
- Не боимся экспериментировать с новыми решениями и технологиями.
О компании Купер
Купер — это сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из foodtech-стартапа в высокотехнологичную компанию. Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 600+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.