С++-разработчик (Базовый Поиск)

Мы приглашаем разработчиков в команду Базового Поиска. Базовый Поиск — сердце Яндекса. Это высоконагруженный поисковый движок, который составляет основу всего веб-поиска. Наш сервис генерирует те самые документы, которые вы видите на выдаче ya.ru. Мы обрабатываем десятки миллионов запросов в секунду, храним петабайты данных, используем десятки тысяч серверов.

Интернет постоянно растёт, вместе с ним должна расти поисковая база. Наша задача — развивать Базовый Поиск быстрее естественного роста, оптимизировать поисковый алгоритм таким образом, чтобы обеспечить масштабирование поисковой базы без значительных затрат ресурсов.

Алгоритмы ранжирования в Поиске непрерывно усложняются и используют всё более тяжёлые фичи (например нейросети-трансформеры на GPU). Наша задача — перебалансировать ресурсы в поисковом стеке, позволяя усложнить и улучшить одни стадии Поиска за счёт облегчения и ускорения других, оптимизировать поисковый алгоритм как на самом низком уровне (паттерны доступа в оперативную память или структуры поисковых индексов), так и на самом высоком (организация и архитектура микросервисов).

Изменения страниц в интернете должны как можно быстрее попадать в Поиск. Наша задача — построение огромной real-time поисковой базы, которая позволит довозить документы до основного стека Поиска за единицы минут.

Эти задачи нельзя решить, посмотрев на флеймграф и заменив одну хеш-таблицу другой (там найдётся, допустим, 3% производительности). Наша команда за четыре года дважды радикально перестраивала поисковый алгоритм, каждый раз достигая двукратного роста эффективности. У нас есть свежие идеи, как сделать ещё лучше, и вы сможете поучаствовать в их реализации.