Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Инженер данных DWH (Вертикали)

в Яндекс Вертикали

200 000 —‍ 400 000 ₽/мес на руки

📍 Казахстан (Армения, Сербия)Санкт-ПетербургМоскваПолная удалёнкаПомощь с переездом

Специализация

Data Science

Уровень

Middle

Команда

6 - 10 человек

Яндекс Вертикали — это пять крупных продуктов, таких как Путешествия, Авто.ру, Недвижимость, Аренда и CM.Expert.

Мы в команде разработки аналитической инфраструктуры занимаемся полным циклом обработки данных в компании. Цикл включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как продуктовые команды, которым нужна регулярная отчётность для принятия решений, так и эксперты в области глубокого анализа данных.

Технологии/инструменты

Python/Go/JavaSQLETL

Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL.
Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса.
Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.

Чем предстоит заниматься

Вести разработку ETL-процессов поставки данных и сопровождать их.
Проектировать структуру хранения данных в разных слоях хранилища.
Выявлять неэффективные участки в существующих процессах поставки данных и оптимизировать их.
Участвовать в развитии фреймворка поставки данных.
Погружаться в данные одной или нескольких прикладных бизнес-областей и становиться в них экспертом.

Ожидания

Разбираетесь в SQL на уровне эксперта.
Имеете опыт промышленной разработки на одном из языков высокого уровня: Python, Go, Java и т. д.
Понимаете устройство и архитектуру реляционных баз данных.
Проектировали DWH: слои, модели хранения данных, ETL-процессы.
Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.

Будет плюсом:

Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP.
Пользовались хотя бы одной MPP СУБД: Greenplum, ClickHouse, Vertica, Teradata и т. д.
Работали с брокерами сообщений: Kafka, RabbitMQ и т. д.
Умеете работать в командной строке *nix-систем: Linux и MacOS.

Что предлагаем

Конкурентная заработная плата: с удовольствием обсуждаем индивидуальные условия с интересными для нас кандидатами.
Расширенное страхование: ДМС с первого месяца работы с широким покрытием, страхование от несчастных случаев, страхование выезжающих за рубеж, а также возможность застраховать семью с корпоративной скидкой.
Компенсация оплаты питания, а также завтраки, ланчи и снеки в офисе.
Обучение: внутренняя библиотека, курсы.
Жилищная программа.
Гибкий формат работы: каждый сотрудник сам выбирает комфортный для себя режим — дом, офис или смешанный формат.
Возможность работать удаленно из любой страны.

Наталия Серебренникова IT Recruiter

О компании Яндекс Вертикали

Сфера

Продуктовая компания

Яндекс Вертикали — это Путешествия, Авто.ру, Недвижимость и Аренда. Они помогают людям найти что-то действительно важное: дом или машину, а также организовать отпуск или командировку. В команде Вертикалей более 1000 человек, работающих из разных стран, но объединённых общей целью: сделать жизнь пользователей проще и удобнее.