Наша команда занимается поддержкой и развитием рекомендательной платформы Ichwill. Она нужна, чтобы внедрение моделей было простым и удобным для ML-специалистов, а пользователи были рады стабильной работе персонализированных продуктов Плюс Фантеха (Музыки, Кинопоиска, Букмейта, Яндекс Афиши и Плюса). Мы помогаем интегрировать новейшие подходы в рекомендациях и заботимся о стабильности бэкендов. Каждый день рекомендации обрабатывают десятки терабайт логов пользовательского взаимодействия, данных о контенте и других полезных сигналов, запускается более сотни процессов на MapReduce-кластере.
С другой стороны, наши бэкенды — это высоконагруженные онлайн-сервисы, которые занимаются созданием рекомендаций пользователям на лету. Для всех этих процессов и сервисов необходимы надёжные инструменты разработки, мониторинга и тестирования. Мы трудимся над их созданием и улучшением, настраиваем различные базы данных и системы хранения, обеспечиваем непрерывность поставки данных от других компонентов наших продуктов.
Рекомендации — это не только ML, но и большое количество бизнес-логики. Её мы разрабатываем на Java, однако требуется ещё уметь быстро применять ML-модели. Тут выручают JNI-компоненты, которые ускоряют вычисления и доступ к данным. Здесь предстоит разработка новых и улучшение старых компонентов. Команда рекомендаций непрерывно экспериментирует с новыми моделями, а мы их помогаем довести до продакшена.
Одна из главных задач команды. Железо — дорогой ресурс, а рекомендации его потребляют очень много. Будем улучшать офлайн-процессы обработки данных, находить в них неоптимальные места и вырабатывать подходы по эффективному использованию выделенных мощностей.
Наша стабильность и качество рекомендаций зависят как от онлайн-, так и от офлайн-компонента. В случае онлайна необходимо управление трафиком, настройка мониторингов, улучшение процессов автоматической приёмки и выкатки, контроль потребляемых ресурсов, оперативная починка аварий и настройка новых источников данных. Офлайн-компонент требует контроля свежести данных, правильного планирования и запуска вычислений, валидации результатов.
Каждый процесс подготовки данных или обучения моделей сам по себе может быть сложным и многоуровневым. Во многих из них обрабатывается пользовательская история, собирается аналитика, применяются различные методы машинного обучения. Мы помогаем строить такие процессы: изучаем и улучшаем их, делаем надёжными и эффективными, разрабатываем инструменты и подходы для этого.
Всего мы поддерживаем целых пять рекомендательных направлений, в каждом из них свои проблемы, вызовы и особенности взаимодействия. Мы со своей стороны их учитываем и подготавливаем инструменты для работы в рамках различных постановок задач рекомендаций. Иногда требуется новый сервис для запуска нейросетей, иногда — настройка и поддержка базовых функций.
Будет плюсом, если вы:
Здоровье.
А также:
Рост и развитие.
А также:
Спорт.
Спортивный клуб.
А также:
Плюс Фантех Яндекса (50+ млн пользователей) — это Кинопоиск, Музыка, Афиша, Букмейт и Плюс. Мы искренне любим то, чем занимаемся, поэтому стараемся сделать наши сервисы максимально удобными и полезными.