Старший разработчик (Платформа отказоустойчивости)

О проекте

Мы формируем команду платформы отказоустойчивости Такси, которая будет отвечать за стабильную работу бэкенда приложений Яндекс Go и Яндекс Про. Для этого нам предстоит решить множество технических проблем, например:

Вхождение сервисов в metastable failure state при перегрузке СУБД.

Примеры возможных решений:

• Перейти на Envoy как Reverse Proxy, включить фильтр Adaptive Concurrency, а по пути решить массу сложностей.
• Настроить Load Shedding прокси перед СУБД.

Нетестируемые фолбэки.

Примеры возможных решений:

• Построить хороший application-level chaos engineering. У нас уже есть простой chaos engineering, нужно его усилить. Например, с помощью похожего решения.
• Создать инфраструктуру или внедрить паттерн constant work для фолбэков: всегда параллельно обращаться к логике фолбэков.

Некритичные сервисы могут ухудшать стабильность Такси, особенно в самом сложном случае — при росте Latency.

Примеры возможных решений:

• Улучшить или переработать circuit breakers.
• Улучшить chaos engineering.

Нехватка эластичности сервисов, балансеров и СУБД при всплесках нагрузки в 2–4 раза после инцидентов.

Примеры возможных решений:

• Перейти на балансировку через локальный Sidecar, а не через отдельный под. Например, перейти на Envoy.
• Сформировать инфраструктуру для большей мультитенантности в СУБД и сервисах со всеми гарантиями по изоляции тенантов.
• Поддержать автоскейлинг подов.

Мы описали только примеры возможных решений, выбор которых всегда остаётся за разработчиком.

Команда платформы отказоустойчивости будет плотно работать с CTO, командой SRE и другими платформенными командами.

Что нужно делать

• Проектировать надёжные системы в микросервисной архитектуре, которые будут работать не только в корнер-кейсах под обычной нагрузкой, но и под многократной нагрузкой при даунтаймах.
• Уметь делать быстрый ресёрч: как в мире решают текущую проблему и каков State of the Art в этой области; разобраться в деталях работы конкретной технологии, например MongoDB.
• Разрабатывать, разворачивать и внедрять решения, участвовать в разборе инцидентов, обучать разработчиков отказоустойчивым паттернам.
• Писать код сервисов и библиотек (в том числе инфраструктурных), за которые команда не отвечает напрямую.
• Влиять на аптайм. Например, результат разработки автоскейлинга — не просто его запуск, а фактическое сокращение даунтаймов за счет автоскейлинга.
• Работать с сотнями микросервисов (в Такси их уже больше 600).

Ожидания

• Знаете один или несколько языков программирования.
• Понимаете базовые паттерны микросервисных архитектур: Circuit Breaker, Deadline Propagation, Exponential Back-off, очереди задач и сообщений, отсутствие общих баз между сервисами и т. п.
• Готовы отвечать за решение проблемы, а не за реализацию того решения, которое выбрал руководитель или техлид.