Все вакансииData EngineeringRemoteSenior

Senior Data Engineer (RnD)

в Купер (ex СберМаркет IT)

от 350 000 ₽/мес на руки

📍 Москва (м. Новокузнецкая)Санкт-Петербург (м. Адмиралтейская)Можно удалённо из РФ

Специализация

Data Engineering

Уровень

Senior

Команда

21 - 50 человек

Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 1 300+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.

В команде Data Engineering уже более 30 профессионалов.

Мы создаем хранилища данных и инструменты для их анализа и использования в аналитике, BI, ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & Development" или просто RnD. Команда занимается исследованием и внедрением новых технологий, созданием инструментов для работы с данными, разрабатывает стандарты. Наш фокус на Data Lake: загрузка данных из источников (API, Kafka, CDC, PostgreSQL, MySQL и другие), трансформация данных в табличный вид, разработка инструментов по транспортировке данных между аналитическими СУБД (Greenplum, ClickHouse) и S3.

Технологии/инструменты

Python/ScalaTrino/SparkApache AirflowApache IcebergDebeziumPostgreSQLMySQL

Чем предстоит заниматься

Развивать существующее CDC-решение на базе Debezium и Spark Streaming: улучшать мониторинг, автоматизировать то, что делается вручную.
Разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, Greenplum, ClickHouse, используя Python и Spark (Scala).
Участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании.
Развивать практику использования Trino в компании.
Участвовать в разработке интеграции Trino с каталогом метаданных Datahub.

Мы ждём от кандидата

Опыт работы от 3 лет.
Понимание принципов организации хранилищ данных, работы колоночных БД.
Уверенное знание SQL, Python.
Готовность изучать Spark (Scala).
Стремление обосновывать и документировать появляющиеся решения.
Опыт работы с MPP-системами.
Понимание принципов CI/CD.

Будет плюсом, если ты

Программировал на Scala/Java.
Знаешь фреймворк Apache Spark, Apache Airflow.
Умеешь оптимизировать вычисления в MPP-системах.
Работал с форматами Iceberg, Parquet, Protobuf, Avro.
Использовал Trino/Greenplum/ClickHouse.
Знаком с Kafka Connect.

Что интересного у нас есть

ДМС с первого месяца работы в компании.
IT-ипотека и ипотека для сотрудников экосистемы Сбербанка.
Предоставляем множество корпоративных бонусных программ.
Работаем удаленно. В Москве есть большой и красивый офис, поэтому если ты из этого города или будешь проездом — welcome.
Выдаем технику для работы на твой выбор.
Помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол).
Уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.

А ещё