Разработчик бэкенда (Инфраструктура краудсорсинга)

Краудсорсинг — это способ организации процессов, при котором большая задача разбивается на некоторое количество маленьких, которые передаются исполнителям. Типичный пример краудсорсинговой задачи — разметка изображений для обучения ML-модели. В процессе участвуют две стороны — заказчик, который хочет разметить гигабайты изображений, и исполнители, которые готовы выполнять простые задания за сравнительно небольшую плату. Крауд-платформа является маркетплейсом, позволяющим свести эти две стороны друг с другом.

Отдел внутреннего краудсорсинга (Крауд) помогает сервисам Яндекса решать бизнес-задачи. Мы размечаем данные, занимаемся тестированием, поддержкой пользователей и продажами, модерируем контент, готовим тексты, графику и дизайн. Чтобы эти задачи решать эффективно, необходима дополнительная инфраструктура, которую разрабатывает наша команда.

Например, обращения внешних пользователей в службу поддержки обработать необходимо в строго определённый срок. Для этого нужно гарантировать, что в любой момент времени операторы не перегружены. Эту задачу помогает решить наш сервис Крю — WFM-система для прогнозирования нагрузки и автоматической генерации расписания смен, а также инструмент управления группами людей: профилями пользователей, структурами ролей, навыков и т. д.

Кроме операторов, для работы службы поддержки необходима система хранения и обработки пользовательских обращений. Этим занимается Сансара — омниканальная коммуникационная платформа для клиентского сервиса, продаж и не только. Система позволяет в рамках одного интерфейса (и модели данных) общаться с пользователем через все популярные каналы связи (телефон, чаты, почта, соцсети), хранить профиль пользователя (например, информацию, что пользователь не любит, когда ему звонят) и многое другое. А поскольку большая часть вопросов в службу поддержки относится к типовым случаям, вместе с Сансарой мы развиваем базу знаний для операторов (и ботов) службы поддержки и инфраструктуру для автоматизации обработки обращений, например для чат-ботов.

Наконец, для решения любой задачи Крауда, будь то поддержка пользователей, продажа, тестирование или разметка, используются различные внутренние сервисы, и в каждом из этих сервисов хранится своя специфичная информация. Для аналитики по этим данным мы развиваем ещё один наш сервис — Crowd DWH. Он предоставляет инфраструктуру для быстрого создания Data Lake любого сервиса Крауда, а в перспективе будет позволять пользователям настраивать агрегации, алерты и многое другое.

Стек команды:

• Бэкенд на Java (11 и выше) и Kotlin, Spring Framework (Boot, Security, MVC, Websocket), JooQ.
• Микросервисная архитектура.
• Все сервисы — Сloud-Native.
• Хранение данных: PostgreSQL, Redis, ClickHouse, S3.