Компания больше не ищет сотрудника. Посмотрите похожие предложения
DWH Developer
в VK
200 000 — 350 000 ₽/мес на руки
Технологии/инструменты
Почта — крупнейший и самый популярный почтовый сервис в русскоязычном сегменте. Мы постоянно работаем над новыми технологиями и взаимодействуем с высоконагруженными проектами мирового уровня.
Вам предстоит заниматься разработкой аналитической платформы. Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать ещё быстрее и успешнее.
Мы разрабатываем единый реестр аналитических событий компании, систему доступа к аналитическим данным, систему A/B-тестов. Сервисами уже активно пользуются такие проекты, как Почта, Облако, Маруся, медиапроекты.
У нас используется стек Hadoop/Kafka/PySpark/ClickHouse. Для аналитики используются данные размером десятки петабайт. Вам предстоит работать с настоящей BigData.
Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK, объединить несколько Hadoop-кластеров и многое другое.
Задачи
- Разработка DWH-платформы.
- Проектирование схем для хранения данных.
- Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы и т. д.).
- Автоматизация Data Pipelines, ETL-процессов.
- Автоматизация построения витрин данных.
- Организация CI/CD и мониторинга процессов обработки данных.
- Готовность разбираться в чужом коде.
- Ревью кода в команде.
Требования
- Опыт разработки живых проектов или доработка существующих решений.
- Опыт DWH-разработки от года, знание Python.
- Понимание принципов работы классических СУБД.
- Работа с Linux & Bash.
Будет плюсом:
- Знакомство и опыт работы с экосистемой Hadoop.
- Опыт работы с MPP-базами.
- Опыт организации ETL-процессов обработки данных.
Мы предлагаем
- Гибкий график работы.
- Бонусы и скидки от партнеров.
- Офис в центре города.
- ДМС.
- Профессиональная команда.
- Интересные задачи.
О компании VK
VK (200+ технологичных проектов) делает современные и быстрые интернет-сервисы, доступные каждому. Каждый день миллионы россиян общаются ВКонтакте и в Одноклассниках, слушают VK Музыку и смотрят VK Клипы, скачивают приложения в RuStore, создают и читают контент в Дзене, играют в игры на VK Play, продают вещи на Юле и становятся умнее со SkillBox и GeekBrains. Штаб-квартира расположена в Москве, также есть представительства в 14 городах по всему миру.