Яндекс Вертикали — это пять крупных продуктов: сервисы "Путешествия", "Авто.ру", "Авто.ру Бизнес", "Недвижимость" и "Аренда".
Наша команда разработки аналитической инфраструктуры занимается полным циклом обработки данных в компании. Цикл включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Наши пользователи — это и продуктовые команды, которым нужна регулярная отчётность для принятия решений, и эксперты в области глубокого анализа данных.
Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), ClickHouse и PostgreSQL. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.
Вам предстоит
- Разрабатывать и сопровождать ETL-процессы поставки данных.
- Проектировать структуру хранения данных в разных слоях хранилища.
- Выявлять и оптимизировать неэффективные участки в процессах поставки данных.
- Погружаться в данные одной или нескольких прикладных бизнес-областей и становиться в них экспертом.
Мы ждем, что вы
- Разбираетесь в SQL на уровне эксперта.
- Занимались промышленной разработкой на одном из языков высокого уровня: Python, Go, Java и т. д.
- Понимаете устройство и архитектуру реляционных баз данных.
- Проектировали DWH: слои, модели хранения данных, ETL-процессы.
- Разрабатывали ETL-процессы на Apache Airflow.
- Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными.
- Настраивали поставки данных по API.
Будет плюсом, если вы
- Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP.
- Пользовались хотя бы одной MPP-СУБД: Greenplum, ClickHouse, Vertica, Teradata и т. д.
- Работали с брокерами сообщений: Kafka, RabbitMQ и т. д.
- Умеете работать в командной строке *nix-систем: Linux и macOS.
Условия
- Возможность выбрать место работы: в офисе в Москве (БЦ «Аврора», ст. м. «Павелецкая»), Санкт-Петербурге (БЦ «Бенуа», Калининский район) на гибридный формат работы (2-3 дня в неделю в офисе).
- Оклад и премии по итогам работы.
- Профессиональная команда, у которой можно многому научиться и перенять опыт.
- Понятный путь карьерного роста и тренинги.
- Расширенная программа ДМС: стоматология, обследования, вызов врача на дом.
- Корпоративная мобильная связь, мощный рабочий ноутбук.
- Компенсация оплаты питания на территории офиса и в его окрестностях.
- Современный офис, где есть всё необходимое для комфортной работы и отдыха.
- Культура открытости и взаимопомощи.
- Высокая скорость работы и возможность быстро увидеть свой вклад и результаты.
