Компания больше не ищет сотрудника. Посмотрите похожие предложения
Инженер данных DWH (Вертикали)
в Яндекс Вертикали
200 000 — 400 000 ₽/мес на руки
Технологии/инструменты
Яндекс Вертикали — это пять крупных продуктов, таких как Путешествия, Авто.ру, Недвижимость, Аренда и CM.Expert.
Мы в команде разработки аналитической инфраструктуры занимаемся полным циклом обработки данных в компании. Цикл включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как продуктовые команды, которым нужна регулярная отчётность для принятия решений, так и эксперты в области глубокого анализа данных.
Описание стека
- Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL.
- Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса.
- Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.
Чем предстоит заниматься
- Вести разработку ETL-процессов поставки данных и сопровождать их.
- Проектировать структуру хранения данных в разных слоях хранилища.
- Выявлять неэффективные участки в существующих процессах поставки данных и оптимизировать их.
- Участвовать в развитии фреймворка поставки данных.
- Погружаться в данные одной или нескольких прикладных бизнес-областей и становиться в них экспертом.
Ожидания
- Разбираетесь в SQL на уровне эксперта.
- Имеете опыт промышленной разработки на одном из языков высокого уровня: Python, Go, Java и т. д.
- Понимаете устройство и архитектуру реляционных баз данных.
- Проектировали DWH: слои, модели хранения данных, ETL-процессы.
- Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.
Будет плюсом:
- Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP.
- Пользовались хотя бы одной MPP СУБД: Greenplum, ClickHouse, Vertica, Teradata и т. д.
- Работали с брокерами сообщений: Kafka, RabbitMQ и т. д.
- Умеете работать в командной строке *nix-систем: Linux и MacOS.
Что предлагаем
- Конкурентная заработная плата: с удовольствием обсуждаем индивидуальные условия с интересными для нас кандидатами.
- Расширенное страхование: ДМС с первого месяца работы с широким покрытием, страхование от несчастных случаев, страхование выезжающих за рубеж, а также возможность застраховать семью с корпоративной скидкой.
- Компенсация оплаты питания, а также завтраки, ланчи и снеки в офисе.
- Обучение: внутренняя библиотека, курсы.
- Жилищная программа.
- Гибкий формат работы: каждый сотрудник сам выбирает комфортный для себя режим — дом, офис или смешанный формат.
- Возможность работать удаленно из любой страны.
О компании Яндекс Вертикали
Яндекс Вертикали — это Путешествия, Авто.ру, Недвижимость и Аренда. Они помогают людям найти что-то действительно важное: дом или машину, а также организовать отпуск или командировку. В команде Вертикалей более 1000 человек, работающих из разных стран, но объединённых общей целью: сделать жизнь пользователей проще и удобнее.