Компания больше не ищет сотрудника. Посмотрите похожие предложения
Data Engineer
в Яндекс Вертикали
200 000 — 305 000 ₽/мес на руки
Технологии/инструменты
Яндекс Вертикали — это пять крупных продуктов: сервисы Путешествия, Авто.ру, Авто.ру Бизнес, Недвижимость и Аренда.
Наша команда разработки аналитической инфраструктуры занимается полным циклом обработки данных. Он включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Наши пользователи — это и продуктовые команды, которым нужна регулярная отчётность для принятия решений, и эксперты в области глубокого анализа данных.
Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL. Для разработки, оркестрации и мониторинга ETL-процессов используем собственный фреймворк, разработанный в Яндексе. Для организации модели хранения данных на разных уровнях применяем различные методологии проектирования хранилищ данных: Lambda-архитектуру, Data Lake, Data Vault.
Почему мы
- Открытость. Белая зарплата, возможность регулярно обсуждать свои успехи с руководителем и новые идеи с коллегами.
- Все на одной волне. Команда единомышленников, у которых есть, чему поучиться.
- Развитие. Инвестируем в сотрудников, стремимся раскрыть потенциал и найти интересные задачи для каждого.
- Безграничные возможности. Самые интересные проекты начинались со смелой идеи, одного решительного шага и доверия команды.
Какие задачи вас ждут
- Улучшение хранилища данных. Вы будете разрабатывать и сопровождать ETL-процессы поставки данных, проектировать структуру хранения данных в разных слоях хранилища, выявлять и оптимизировать неэффективные участки в процессах поставки данных. Кроме того, вы погрузитесь в данные одной или нескольких прикладных бизнес-областей, чтобы стать в них экспертом.
Мы ждём, что вы
- Прекрасно разбираетесь в SQL.
- Занимались промышленной разработкой на одном из языков высокого уровня: Python, Go, Java и т. д.
- Понимаете устройство и архитектуру реляционных баз данных.
- Проектировали DWH: слои, модели хранения данных, ETL-процессы.
- Разрабатывали ETL-процессы на Apache Airflow.
- Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными.
- Настраивали поставки данных по API.
- Имеете опыт работы 1–3 года.
Будет плюсом, если вы:
- Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP.
- Пользовались хотя бы одной MPP-СУБД: Greenplum, ClickHouse, Vertica, Teradata и т. д.
- Работали с брокерами сообщений: Kafka, RabbitMQ и т. д.
- Умеете работать в командной строке *nix-систем: Linux и macOS.
Условия
- Работа в офисе в Москве (БЦ «Аврора», ст. м. «Павелецкая»), возможен гибридный формат работы.
- Офисы с большими парковками, кофе-пойнтами и стульями Herman Miller на каждом рабочем месте.
- Хорошее оборудование: на выбор мощный ноутбук Dell на Windows или Linux либо MacBook Pro, выделенная виртуалка с необходимыми ресурсами.
- Объёмный полис ДМС со стоматологией, коррекцией зрения, регулярной диагностикой и помощью при онкологических или сердечных заболеваниях, оплата 80% ДМС для близких родственников.
- Сотни корпоративных скидок во всех областях жизни.
- Компенсация питания в офисе.
О компании Яндекс Вертикали
Яндекс Вертикали — это Путешествия, Авто.ру, Недвижимость и Аренда. Они помогают людям найти что-то действительно важное: дом или машину, а также организовать отпуск или командировку. В команде Вертикалей более 1000 человек, работающих из разных стран, но объединённых общей целью: сделать жизнь пользователей проще и удобнее.