DWH-разработчик

Наша команда занимается построением и масштабированием хранилищ данных для экосистемы VK, где ежедневно обрабатываются петабайты информации и миллиарды событий. Наши решения используют такие продукты, как "Почта", "Облако", "RuStore", "VK Tech", "Маруся" и многие другие.

Вам предстоит разрабатывать и поддерживать ETL-процессы с использованием Apache Airflow и Apache Spark, глубоко погружаться в оптимизацию запросов ClickHouse и распределённых вычислений в Apache Spark. Мигрировать наши продукты в облачные сервисы с использованием Kubernetes и Yandex Tank, развивать инструменты, позволяющие аналитикам самостоятельно строить витрины данных.

Ключевые технологии, с которыми вы будете работать: Python как основной язык разработки, ClickHouse для аналитических запросов, Apache Spark для распределённой обработки данных, Apache Airflow для оркестрации процессов.

Если вы хотите работать с реальными Big Data в распределённых системах — добро пожаловать в нашу команду! Мы предлагаем возможность участвовать в масштабных проектах, профессионально расти и решать интересные технологические задачи.

Задачи

• Разработка DWH-платформы.
• Проектирование схем для хранения данных.
• Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы и так далее).
• Автоматизация data pipelines, ETL-процессов.
• Автоматизация построения витрин данных.
• Организация CI/CD и мониторинга процессов обработки данных.
• Готовность разбираться в чужом коде, ревью кода в команде.

Требования

• Опыт DWH-разработки от года.
• Знание Python.
• Работа с Linux & Bash.

Будет плюсом

• Понимание принципов работы классических СУБД.
• Знакомство с экосистемой Hadoop и опыт работы с ней.
• Опыт работы с ClickHouse.
• Опыт организации ETL-процессов обработки данных.

Работа в VK Tech — это

• Интересные и разнообразные задачи. Создаём высокотехнологичные продукты и платформенные сервисы, виртуозно управляем высоконагруженными проектами.
• Забота о сотрудниках. Предоставляем полис ДМС, а ещё компенсируем массаж и приём терапевта прямо в офисе.
• Бережный онбординг. Всех новичков ждут помощь и сопровождение с первого дня, а ещё встречи с топ-менеджментом.
• Сильная команда. Строим открытую культуру, обсуждаем и ставим цели, которые видны каждому в команде, рассказываем о стратегии и честно отвечаем на любые вопросы.
• Достижения и успехи. Раз в год проводим программу признания, выезжаем на яхтинг и картинг, выдаём ачивки и уникальный мерч. Пишем статьи на Хабр, выступаем на конференциях.
• Отдых, спорт и развитие. Компенсируем затраты на спорт. Проводим семейные мероприятия для сотрудников, мастер-классы, лекции и квизы.
• Главный принцип VK Tech — культ инженерного совершенства.