Компания больше не ищет сотрудника. Посмотрите похожие предложения
Разработчик сервисов для построения поисковой базы
в Яндекс (Поисковый портал)
200 000 — 350 000 ₽/мес на руки
Технологии/инструменты
Поисковая база Яндекса должна полно и быстро доставлять на страницы результатов поиска содержимое сайтов и факторы их ранжирования. Чтобы этого добиться, мы:
- Фильтруем страницы с одинаковым содержимым и неглавные зеркала сайтов.
- Агрегируем факторы ранжирования из различных источников за различный период.
- Заботимся о том, чтобы при смене адреса сайты не теряли трафик.
Мы работаем с десятками петабайт данных, сотнями миллиардов документов (страниц сайтов) и десятками тысяч обновлений в секунду. У нас несколько контуров доставки документов: от быстрого, но небольшого, построенного на потоковой обработке в real-time, до медленного, но огромного, завязанного на batch-обработке в парадигме MapReduce.
А ещё мы поддерживаем и развиваем сервисы обработки пользовательских данных, определения зеркал сайтов, построения базы фавиконок и другие смежные сервисы.
Прямо сейчас мы ускоряем различные этапы построения поисковой базы, целиком переводим медленный контур на потоковую обработку, расширяем функциональность и добавляем новые факторы.
Ищем разработчика на C++, который нам в этом поможет. Например, вам предстоит придумать, как эффективно и масштабируемо выбирать в потоке топ документов по заданному набору факторов, при этом минимизировать переотправку документов на вход.
Что нужно делать
- Погрузиться в работу поискового робота.
- Решать проблемы в глубоком высоконагруженном поисковом бэкенде Яндекса.
- Создавать процессы по обработке больших данных в парадигме MapReduce.
- Создавать процессы поточной индексации поисковой базы.
Ожидания
- Хорошо знаете базовые алгоритмы и структуры данных.
- Хорошо знаете С++.
- Знакомы с паттернами проектирования программного обеспечения.
- Умеете писать надёжный и читабельный многопоточный код.
Будет плюсом, если вы:
- Знаете Python.
- Обрабатывали данные в парадигме MapReduce.
- Строили распределённые системы обработки данных.
Условия
- Классная распределённая команда, сотрудники которой могут работать из разных офисов.
- Гибкий график, свободная корпоративная культура и возможность частичного посещения офиса.
- Возможность полностью удалённой работы.
- Работа над сервисами, которыми каждый день пользуются много людей.
- Комфортная адаптация: отлаженный процесс обучения новых сотрудников позволит вам быстро погрузиться в задачи.
- Премии каждые полгода для всех, кто работает эффективно.
- Расширенная программа ДМС, питание, спортивные залы.
О компании Яндекс (Поисковый портал)
Яндекс — одна из крупнейших ИТ-компаний в России. Мы развиваем самую популярную в стране поисковую систему и создаём сервисы, которые помогают людям в повседневных делах. С их помощью можно искать информацию в интернете, слушать музыку, выбирать товары и места, заказывать еду, перемещаться по городу и делать многое другое. Яндекс предлагает также продукты для бизнеса.