Компания больше не ищет сотрудника. Посмотрите похожие предложения
Data Engineer (Migration — Stability)
в Avito
350 000 — 600 000 ₽/мес на руки
Технологии/инструменты
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы.
Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы строим отчётность, помогаем бизнесу проверять гипотезы и принимать решения, а также выбирать эффективные способы достижения целей, основанные на этих данных.
Наша цель — сделать так, чтобы хранилище работало стабильно и могло отвечать требованиям доступности, отказоустойчивости и своевременной готовности данных, которые предъявляют нам наши пользователи.
Примеры будущих задач
Мы находимся в процессе адаптации Trino для задач, в которых раньше мы использовали Vertica. Мы переходим на более гибкое решение и хотим применять подходы распределенной архитектуры к хранилищу данных. Поддержка такой системы усложняется, и нам предстоит поменять философию отказоустойчивости хранилища с «все проблемы исправляются ручным перезапуском» на «система восстанавливает себя сама без ручного вмешательства».
- Обеспечение эффективной утилизации ресурсов хранилища.
- Облегчение поддержки и масштабирование узлов системы хранилища данных.
- Обеспечение отказоустойчивости наших компонентов.
- Повышение наблюдаемости инфраструктуры.
- Разработка прозрачного механизма ответственности за готовность данных к сроку.
- Сокращение числа инцидентов.
Задачи
- Анализ роста нагрузки на хранилище данных, поиск узких мест и способов оптимизации хранения и использования данных.
- Перевод платформы на облачные рельсы и масштабирование узлов системы.
- Помощь в соблюдении сроков готовности данных в хранилище.
- Оптимизация работы аналитических баз данных под характер нагрузки и объем трафика.
- Поддержка стабильной работы компонентов хранилища данных.
Мы ждём, что вы
- Проектировали или отвечали за компоненты распределенных систем.
- Любите разбираться в том, как работают аналитические системы.
- Имеете опыт работы с ClickHouse/Vertica/Trino/Greenplum.
- Умеете находить ответы на вопросы с помощью метрик и аналитики.
- Умеете программировать на Python/Java/другом языке программирования.
Будет плюсом, если вы:
- Имеете опыт работы с Linux.
- Имеете опыт отладки компонентов, написанных другими инженерами.
- Работали с прокси/гейтвеями/клиентскими протоколами к СУБД.
Работа у нас — это
- Интересные и важные задачи на очень большом проекте.
- Передовые технологии и подходы, возможность пробовать новое.
- Опытные и заинтересованные коллеги, готовые оказать поддержку.
- Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
- Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
- Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
- Возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.
О компании Avito
Avito — самый популярный сайт объявлений в России, классифайд №1 в мире. Месячная аудитория составляет 57,4 млн. — это больше трети населения России. Количество активных объявлений превысило 125 млн. Каждую секунду на “Авито” совершается более восьми сделок. А география сервиса — это вся Россия — от Калининграда до Дальнего Востока.