Data Engineer (Коммуникационные платформы)

Создаём единую коммуникационную платформу, которая станет универсальным решением для всех платформ группы по общению пользователей.

Задачи

• Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации).
• Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами.
• Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных.
• Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа.
• Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков.
• Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений.

Требования

• Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов.
• Умеете проектировать DWH: слои, модели хранения данных, процессы ETL.
• Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse.
• Использовали Apache Airflow, Luigi или другой оркестратор.
• Умеете выбирать технологии для решения конкретных задач.
• Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов.
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными.
• Эффективно общаетесь с людьми, находите общий язык с разными специалистами.

Работа в VK — это

• Возможность создавать продукты и сервисы, которые меняют к лучшему жизнь миллионов пользователей.
• Амбициозные задачи, масштабные проекты и возможности для профессионального роста.
• Совместные интересы и увлечения: помогаем раскрывать таланты и отлично проводить свободное время.
• Работа в команде профессионалов из разных сфер, которые всегда готовы поделиться опытом.
• Программа благополучия: заботимся о здоровье и хорошем самочувствии сотрудников.
• Компенсация питания в кафе и ресторанах рядом с офисами — 800 рублей в день.
• Компенсация спортивных активностей — 30 000 рублей в год в регионах и 35 000 рублей в год в Москве и в Санкт-Петербурге.
• 17 корпоративных команд по 12 видам спорта.