Инженер по данным (Автономный транспорт)

Какие задачи вас ждут

Проектирование архитектуры для транспорта и обработки больших данных

Автономный транспорт в результате своей работы создаёт большое количество данных, которые нужно эффективно обрабатывать, хранить и доставлять пользователям в удобном для них формате. Ежемесячно наше хранилище прирастает более чем на 3 Пб только за счёт новых логов.

Одна из задач команды дата-инженеров — строить эффективные пайплайны обработки данных и оптимизировать существующие, следить за качеством полученных данных и сроком их поставки в режиме 9999.

Развитие продуктового DWH по модели Data Vault 2.0

Помимо данных, полученных в результате обработки логов с машин, аналитики также работают с данными от сервисов, которые обеспечивают интеграцию с продуктами партнёров: Такси, Яндекс Еды, Яндекс Лавки и других. Данные из баз сервисов мы захватываем с помощью CDC-трансферов и далее раскладываем в модель Data Vault 2.0 с помощью собственного DMP-фреймворка.

Вам предстоит добавлять данные из новых источников в DWH, проектировать новые и модифицировать существующие витрины данных по запросам команды аналитики, а также разрабатывать решения для отслеживания времени поставки и качества данных.

Участие в инфраструктурных проектах

Мы используем разные решения для хранения данных, выполнения и оркестрации расчётов. С развитием проекта и ростом команды возникает много вызовов в области Data Governance: как правильно ограничить и организовать доступ к данным, как разграничить доступ команд к вычислительным/дисковым ресурсам, как организовать карантин и удаление неиспользуемых данных, как следить за тысячами процессов обработки данных и вовремя заметить сбой.

Мы ждём, что вы

• Имеете опыт работы от 3 лет.
• Пишете код на Python.
• Знаете основные алгоритмы и структуры больших данных.
• Разрабатывали ETL-процессы.
• Работали с базами данных SQL и NoSQL.
• Работали с экосистемой Hadoop или другим MapReduce-стеком.
• Работали с брокерами сообщений (Kafka, RabbitMQ или аналогами).

Будет плюсом, если вы

• Работали с большими объёмами данных.
• Проектировали или участвовали в проектировании DWH.
• Работали с YTsaurus/YQL и другими инструментами инфраструктуры Яндекса.
• Пишете код на С++.
• Владеете современными инструментами визуализации данных.

Что мы предлагаем

Заботу о здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или на онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года. *Страховка для родственников по системе 80/20. (Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%).

Рост и развитие

• В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

А также

• Оплата участия в профильных конференциях.
• Скидка 50% на изучение иностранных языков.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

• Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И ещё

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.