Avito

Data Engineer (Migration — Stability)

в Avito

350 000 —‍ 600 000 ₽/мес на руки

📍 Москва (м. Белорусская)Можно удалённо из РФ
Специализация
Data Engineering
Уровень
Senior

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы.

Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы строим отчётность, помогаем бизнесу проверять гипотезы и принимать решения, а также выбирать эффективные способы достижения целей, основанные на этих данных.

Наша цель — сделать так, чтобы хранилище работало стабильно и могло отвечать требованиям доступности, отказоустойчивости и своевременной готовности данных, которые предъявляют нам наши пользователи.

Технологии/инструменты

ClickHouse/Vertica/Trino/GreenplumPython/Java

Примеры будущих задач

Мы находимся в процессе адаптации Trino для задач, в которых раньше мы использовали Vertica. Мы переходим на более гибкое решение и хотим применять подходы распределенной архитектуры к хранилищу данных. Поддержка такой системы усложняется, и нам предстоит поменять философию отказоустойчивости хранилища с «все проблемы исправляются ручным перезапуском» на «система восстанавливает себя сама без ручного вмешательства».

  • Обеспечение эффективной утилизации ресурсов хранилища.
  • Облегчение поддержки и масштабирование узлов системы хранилища данных.
  • Обеспечение отказоустойчивости наших компонентов.
  • Повышение наблюдаемости инфраструктуры.
  • Разработка прозрачного механизма ответственности за готовность данных к сроку.
  • Сокращение числа инцидентов.

Задачи

  • Анализ роста нагрузки на хранилище данных, поиск узких мест и способов оптимизации хранения и использования данных.
  • Перевод платформы на облачные рельсы и масштабирование узлов системы.
  • Помощь в соблюдении сроков готовности данных в хранилище.
  • Оптимизация работы аналитических баз данных под характер нагрузки и объем трафика.
  • Поддержка стабильной работы компонентов хранилища данных.

Мы ждём, что вы

  • Проектировали или отвечали за компоненты распределенных систем.
  • Любите разбираться в том, как работают аналитические системы.
  • Имеете опыт работы с ClickHouse/Vertica/Trino/Greenplum.
  • Умеете находить ответы на вопросы с помощью метрик и аналитики.
  • Умеете программировать на Python/Java/другом языке программирования.

Будет плюсом, если вы:

  • Имеете опыт работы с Linux.
  • Имеете опыт отладки компонентов, написанных другими инженерами.
  • Работали с прокси/гейтвеями/клиентскими протоколами к СУБД.

Работа у нас — это

  • Интересные и важные задачи на очень большом проекте.
  • Передовые технологии и подходы, возможность пробовать новое.
  • Опытные и заинтересованные коллеги, готовые оказать поддержку.
  • Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
  • Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
  • Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
  • Возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.
Елизавета Курганова Recruiter
Avito

О компании Avito

Сфера
Продуктовая компания
Инвестиции
$100M+
Размер
1001+

Avito — самый популярный сайт объявлений в России, классифайд №1 в мире. Месячная аудитория составляет 57,4 млн. — это больше трети населения России. Количество активных объявлений превысило 125 млн. Каждую секунду на “Авито” совершается более восьми сделок. А география сервиса — это вся Россия — от Калининграда до Дальнего Востока.

Похожие вакансии

7 000 – 9 000 $/мес на руки
📍 ЕС, Великобритания, США, полная удалёнка, помощь с переездом
6 660 – 9 150 $/мес на руки
Полная удалёнка
500 000 – 800 000 ₽/мес на руки
📍 Москва (м. Белорусская), можно удалённо из РФ
420 000 – 560 000 ₽/мес на руки
📍 Москва (м. Белорусская), Санкт-Петербург (м. Новочеркасская), Казань, Самара, полная удалёнка
400 000 – 480 000 ₽/мес на руки
📍 Москва (м. Смоленская), офис или гибрид