Разработчик на С++ (YQL over YT)

YTsaurus — одна из ключевых инфраструктурных систем Яндекса, которая используется для хранения и обработки данных.

Яндекс работает с эксабайтами данных, которые нужно эффективно хранить, обрабатывать и передавать между приложениями. Для этого мы создали YTsaurus — распределённую платформу, которая сочетает в себе единое хранилище и ряд инструментов для обработки данных под разные сценарии. Почти каждый сервис в Яндексе использует нашу платформу для решения своих задач. Платформа активно развивается, а исходный код выложен в опенсорс.

Внутри YTsaurus есть поддержка целого ряда SQL-диалектов, которые позволяют обращаться к данным. Один из таких диалектов — YQL. Он преобразует SQL-запросы в последовательность MapReduce-операций и/или выполняет их в движке DQ, который и предстоит развивать.

Движок DQ, в отличие от MapReduce, позволяет выполнять части запроса полностью в памяти без промежуточной материализации на диск. Это существенно сокращает накладные расходы и время, затрачиваемое на выполнение всего запроса.

Какие задачи вас ждут

• Развитие гибридного режима выполнения запросов.

Во время выполнения запроса объём данных часто уменьшается на каждом этапе — из-за фильтрации, пересечений и агрегаций. На определённом этапе использование MapReduce может стать избыточным. В таких случаях выгодно переключиться на выполнение оставшихся операций в движке DQ.

• Пользовательский кластер DQ.

Пользовательская нагрузка может быть настолько разнообразной, что сложно подобрать универсальные параметры для работы движка. Мы хотим реализовать возможность настройки пользовательского кластера DQ под конкретные сценарии и профили нагрузки.

• Ускорение YQL over YT по бенчмаркам.

YQL over YT в Яндексе работает на десятках тысяч машин и сотнях тысяч ядер. Нам важно постоянно искать точки для оптимизации исполнения запросов. Мы используем популярные бенчмарки для выявления возможностей улучшения производительности.

• Публикации и вклад в продукт.

Ваши результаты могут стать основой для публикаций, докладов и выступлений на крупных конференциях, а коммиты будут попадать в общую кодовую базу YTsaurus.

Мы ждем, что вы

• Уверенно владеете C++ и готовы разрабатывать на нём.
• Высокопроизводительные системы.
• Понимаете, как анализировать производительность, находить узкие места, и готовы предлагать способы решения проблем.
• Знаете Python на уровне, достаточном для написания тестов.

Будет плюсом, если вы

• Имеете представление, как устроены СУБД, и участвовали в их разработке.
• Знаете один из диалектов SQL.

Что мы предлагаем

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.