Python-разработчик инфраструктуры Big Data

Команда Автономного транспорта в Яндексе стремится одной из первых в мире создать технологии беспилотного управления автомобилем и роботом-доставщиком. Мы ищем увлечённых, умных и целеустремлённых профессионалов, чтобы воплотить эту идею в жизнь.

Наша команда занимается всеми этапами разработки технологии: от создания аппаратного и программного обеспечения для беспилотных машин до разработки ML-моделей, сервисов доставки и обработки данных, аналитики и визуализации.

Приглашаем специалистов, которые помогут нам оптимизировать процессы обработки и хранения данных, а также разработать системы мониторинга качества и скорости поставки данных. Это позволит улучшить наши технологии беспилотного управления.

Какие задачи вас ждут

• Разработка пайплайнов обработки данных.

Вы будете отвечать за основные этапы обработки данных — начиная с момента их попадания в аналитическое ХД до их появления в витринах и внутренних сервисах. По пути данные проходят по большому дереву постпроцессингов, выполняющих самые разные функции: от подготовки событий и их тегирования до расчёта метрик и построения визуализаций. Список этих процессов постоянно пополняется, и вы поможете нам разрабатывать новые.

• Разработка фреймворка для подготовки датасетов.

Вам предстоит разработать новый фреймворк, который будет поддерживать инкрементальные кеши и позволит быстро и эффективно подготавливать новые датасеты.

• Оптимизация хранения и обработки данных.

Уже сейчас объём логов с машин в нашем хранилище превышает 150 ПБ, и при этом наш флот продолжает расти. Вам предстоит искать новые способы оптимизации хранилища, отслеживать обращения и использование данных, настраивать политики управления доступом и удаления данных.

Мы ждем, что вы

• Пишете код на Python и/или C++, уверенно владеете хотя бы одним из этих языков.
• Уверенно владеете классическими структурами данных и алгоритмами.
• Работали с MPP СУБД (ClickHouse) и/или с распределёнными файловыми хранилищами (YTsaurus/HDFS/S3).
• Работали с большими объёмами данных.
• Работали с Airflow/Nirvana/Prefect или другими инструментами управления пайплайнами данных.

Будет плюсом, если вы

• Разрабатывали ETL-процессы.
• Знакомы с экосистемой Hadoop или другим MapReduce-стеком.
• Работали с высоконагруженными или распределёнными системами.
• Работали с YTsaurus/YQL и другими инструментами инфраструктуры Яндекса.

Условия

Забота о здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и родов — через два года.

Страховка для родственников по системе 80/20

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

А также

• Оплата участия в профильных конференциях.
• Скидка 50% на изучение иностранных языков.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.