Backend-инженер в команду Integration (Stability)

О команде

Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы строим отчётность, помогаем бизнесу проверять гипотезы и принимать решения, а также выбирать эффективные способы достижения целей, основанные на этих данных.

Наша цель — сделать так, чтобы хранилище работало стабильно и могло отвечать требованиям доступности, отказоустойчивости и своевременной готовности данных, которые предъявляют нам наши пользователи.

Мы находимся в процессе адаптации Trino для задач, в которых раньше мы использовали Vertica. Мы переходим на более гибкое решение и хотим применять подходы микросервисной архитектуры к хранилищу данных. Поддержка такой системы усложняется, и нам предстоит поменять философию отказоуйчивости хранилища с «все проблемы исправляются ручным перезапуском» на «система восстанавливает себя сама без ручного вмешательства».

Наши вызовы — сделать наши компоненты отказоустойчивыми, повысить наблюдаемость инфраструктуры и упростить работу дежурного, разработать прозрачный механизм ответственности за готовность данных к сроку и сократить число инцидентов из-за действий разработчика.

Вам предстоит

• Отделить критичные расчёты и вынести их на отдельные мощности.
• Разработать сервис экспорта из DWH в продуктовые сервисы.
• Сократить время реагирования на проблемы.
• Создать тестовую среду.
• Создать алерты и ранбуки для команды 24х7.
• Повышать стабильность компонентов инфраструктуры.

Мы ждём, что вы

• Проектировали или отвечали за компоненты отказоустойчивых систем.
• Знаете и умеете писать на Python.
• Работали с прокси/гейтвеями/клиентскими протоколами к СУБД.

Будет здорово, если вы:

• Имеете опыт отладки компонентов, написанных на C++ или Java.
• Работали с кластерными СУБД (Vertica, Snowflake, ClickHouse, StarRocks, Trino и др.).
• Работали с инструментами интеграции данных (Databricks, dbt, KSQL).

Работа у нас — это

• Интересные и важные задачи на очень большом проекте.
• Передовые технологии и подходы, возможность пробовать новое.
• Опытные и заинтересованные коллеги, готовые оказать поддержку.
• Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
• Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
• Возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.