Lead Data Engineer

Всего у команды инженеров данных в нашей компании есть три направления работы

1. Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.

• Сейчас у нас используются MS SQL и ClickHouse.
• Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных.
• До конца года мы хотим совсем отказаться от MS SQL и разгрузить ClickHouse от нетипичных для него задач. Для этого мы поднимаем Greenplum.
• Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink'ом.
• Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало, и улучшать.

2. ETL / ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное.

• Для этого используются Airflow и Flink.

3. Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.

Ожидания

• Опыт поддержки инфраструктуры данных (DevOps, аналитические базы данных, ETL-инструменты, BI-инструменты).
• Опыт коммерческой разработки (предпочтительно Python и Java).
• Опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка).
• Понимание принципов работы Big Data-стека.
• Опыт работы с терабайтами данных.
• Умение работать с аналитиками (запросы на витрины данных и автоматизацию).

Будет плюсом:

• Опыт администрирования и работы с Greenplum и ClickHouse.
• Опыт с Airflow, Flink и Minio.

Мы предлагаем

• Участие в развитии полезного и популярного приложения (14 млн MAU).
• Работу с сильной инженерной командой.
• Оформление по ТК РФ, ДМС с первого дня работы.
• Гибкий график работы, возможна полностью удалённая работа.
• Оплату профильных курсов и конференций.
• Спорт четыре раза в неделю в офисе — йога и силовые тренировки.
• Командные мероприятия.
• Комфортный офис в центре города (5 минут от станции метро Чкаловская).