Старший разработчик (Инфраструктура рекомендательных систем)

Реклама — один из самых высоконагруженных сервисов Яндекса, который выдерживает до 700K RPS и оперирует миллиардами объявлений.

Мы занимаемся подготовкой, обработкой и доставкой данных под показывающий рантайм, а также быстрым сбором статистики: расчётом нейросетевых моделей, генерацией баннеров, построением умных индексов k-NN. Наши системы обрабатывают десятки гигабайт сжатых данных в секунду и оперируют стейтом в сотни терабайт.

Некоторое время назад мы совершили квантовый скачок, когда перевезли ключевые компоненты с парадигмы MapReduce в стриминговую обработку данных.

Наши доклады с конференций:

• Эффективное обновление состояний в базе данных из сервисов потоковой обработки.
• Как реклама Яндекса генерирует с помощью GPT-нейросетей заголовки для трёх миллиардов объявлений.

Что вы получите, если придёте к нам

• Узнаете, как правильно настраивать динтаблицы YTSaurus, чтобы удерживать любую нагрузку.
• Научитесь писать многопоточный код на C++ и узнаете, чем отличаются файберы от тредов.
• Поймете, как сменой аллокатора ускорить систему на 30% — или замедлить.
• Разберетесь, как строить действительно exactly-once-системы.

Какие задачи вас ждут

• Быстрые рекламные данные.

Для бизнеса крайне важно, чтобы любое событие — будь то изменение цены товара или клик пользователя — как можно быстрее было учтено в финальном ранжировании. Наша задача состоит в том, чтобы снижать эти задержки до минут и секунд. Мы уже сделали быстрые профили всех основных рекламных сущностей. Теперь занимаемся инкрементальным обновлением всех рекламных баз и индексов.

• Real-Time Machine Learning.

Помимо простой доставки обновлённых профилей до рантайма, особняком стоит задача дообучения нейросетевых моделей на свежих данных. Мы делаем первые шаги к переносу построения датасетов из MapReduce в RT. Нам необходимо построить систему, которая способна с минутной задержкой обрабатывать более 10 ГБ/с входных данных, осуществляя оконный join сразу нескольких логов. Для этого мы активно развиваем собственный фреймворк потоковой обработки данных.

• Единая база Яндекс Рекламы.

База с рекламными данными должна одновременно обладать свойствами, которые на первый взгляд выглядят конфликтующими: способность хранить десятки ТБ данных, обеспечивать высоконагруженный синхронный доступ и поддерживать регулярные массовые асинхронные неблокирующие модификации. Поэтому мы развиваем собственную реляционную базу поверх динамических таблиц YTSaurus.

Мы ждем, что вы

• Имеете опыт разработки на C++ или желаете этому научиться.

Будет плюсом, если вы

• Знакомы с YTSaurus, Hadoop, Spark, Flink, Kafka.

Условия

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.