Avito

Data Engineer (Datamart)

в Avito

от 400 000 ₽/мес на руки

📍 Москва (м. Белорусская)Полная удалёнка
Специализация
Data Engineering
Уровень
Senior

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы.

Технологии/инструменты

PythonSQL

О команде

Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы хотим построить инструмент, в котором аналитики могут самостоятельно, не прибегая к помощи инженеров DWH, находить ответы в данных, проверять гипотезы и принимать бизнес-решения.

Наша цель — предоставлять платформу для решения задач, связанных с исследованиями, операционной отчетностью и продовыми интеграциями, обеспечивая изоляцию обработки и необходимый уровень доступности и качества данных.

Вам предстоит

  • Отделить хранение данных от вычислений над ними: перейти от системы с единой OLAP СУБД к масштабируемому решению, разделив хранение данных и их обработку в изолированных контурах.
  • Повышать отказоустойчивость системы выполнения и снижать время готовности актуальных данных.
  • Развивать систему self-service, снижая время, необходимое на создание и изменение пайплайнов.
  • Развивать систему оркестрации задач, повышая надёжность, удовлетворяя новым запросам пользователей и целям отделения хранения.
  • Разрабатывать системы тестирования дата-пайплайнов по смыслу и перфомансу для Vertica, Trino и других движков.
  • Разрабатывать и дорабатывать системы оркестрации заданий.
  • Оптимизировать высоконагруженные дата-пайплайны и автоматизировать правила и рекомендации для их создателей.

Мы ждём, что вы

  • Знаете и умеете писать на Python.
  • Проектировали или отвечали за компоненты различных систем.
  • Знаете и не боитесь применять SQL.

Будет здорово, если вы:

  • Работали с кластерными СУБД (Vertica, Snowflake, ClickHouse, StarRocks, Trino и др.).
  • Понимаете, что такое хранилище данных.
  • Разбираетесь в принципе оптимизации кода, работающего с большим объёмом данных.
  • Работали с инструментами интеграции данных (Data Bricks, DBT, KSQL).
  • Работали с инструментами оркестрации (AirFlow, Dagster, Prefect).
  • Работали с инструментами CI/CD.

Работа у нас — это

  • Интересные и важные задачи на очень большом проекте.
  • Передовые технологии и подходы, возможность пробовать новое.
  • Опытные и заинтересованные коллеги, готовые оказать поддержку.
  • Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
  • Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
  • Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
  • Возможность работать удаленно и по желанию посещать комфортный офис в Москве.
Елизавета Курганова Recruiter
Avito

О компании Avito

Сфера
Продуктовая компания
Инвестиции
$100M+
Размер
1001+

Avito.ru — самый популярный сайт объявлений в России, классифайд №1 в мире. Месячная аудитория составляет 57,4 млн. — это больше трети населения России. Количество активных объявлений превысило 125 млн. Каждую секунду на “Авито” совершается более восьми сделок. А география сервиса — это вся Россия — от Калининграда до Дальнего Востока.

Похожие вакансии

700 000 – 900 000 ₽/мес на руки
📍 Москва (м. Автозаводская), можно удалённо из РФ
5 000 – 5 900 €/мес на руки
Полная удалёнка
5 000 – 7 000 €/мес на руки
📍 Москва, Кипр, полная удалёнка, помощь с переездом
5 000 – 7 000 $/мес на руки
📍 Кипр, Португалия, полная удалёнка, помощь с переездом
4 000 – 7 000 €/мес на руки
📍 Москва, Кипр, полная удалёнка, помощь с переездом