Team Lead (Data Engineering — Platform)

Чем предстоит заниматься

• Заниматься разработкой, оптимизацией и мониторингом ETL-процессов на основе технологий Greenplum, Airflow, ClickHouse, Spark и Python.
• Поддерживать CDC-решение и улучшать его.
• Внедрять и поддерживать аналитиков в работе с NRT-решениями (RisingWave, ksqlDB, Flink).
• Участвовать в тестировании и принятии новых решений для обработки данных в компании.
• Помогать разработчикам в освоении новых технологий.
• Участвовать во внутренних и внешних мит-апах и рассказывать нашим клиентам и партнером о том, чем живет и дышит SberMarket DWH.

Мы ожидаем от кандидата

• Опыт управления командой дата инженеров от 6 месяцев.
• Понимание и умение работать с Iceberg, S3.
• Понимание принципов организации хранилищ данных, принципов работы колоночных БД.
• Уверенное знание SQL, умение строить сложные запросы и оптимизировать производительность.
• Уверенное знание Python.
• Опыт разработки Scala / Java.
• Опыт работы с Apache Airflow.
• Опыт работы со Spark.

Что интересного у нас есть

• ДМС.
• Предоставляем множество корпоративных бонусных программ.
• Работаем удаленно. В Москве есть большой и красивый офис — welcome.
• Выдаем технику для работы на твой выбор.
• Помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол).
• Уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.

А ещё

• Мы сами участвуем в конференциях как спикеры.
• Проводим внутренние митапы.
• Не боимся экспериментировать с новыми решениями и технологиями.