Компания больше не ищет сотрудника. Посмотрите похожие предложения
Data Engineer (Integration — Migration)
в Avito
от 300 000 ₽/мес на руки
Технологии/инструменты
Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы строим отчётность, помогаем бизнесу проверять гипотезы и принимать решения, а также выбирать эффективные способы достижения целей, основанные на этих данных.
Наша цель — сделать так, чтобы новичок мог самостоятельно, без помощи инженеров находить ответы в данных и настраивать новые пайплайны обработки данных под свои цели.
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы.
Примеры будущих задач
Мы находимся в процессе миграции наших расчетов с Vertica на Trino. Мы не просто меняем одну СУБД на другую. Мы меняем модель хранилища данных с монолитного центрально хранилища на эластичную модель lakehouse с более гибкими возможностями по масштабированию и изоляции расчетов.
Наши вызовы — сделать работу аналитиков с Trino такой же привычной и удобной, как работу с Vertica, начать давать гарантии готовности данных к сроку, оптимизировать модель хранения данных. Нам нужно быть быстрыми и удобными для аналитиков, научиться гибко управлять ресурсами хранилища.
Чем предстоит заниматься
- Перевести критичные расчеты на Trino.
- Оптимизировать запросы, модель данных в расчетах, ускорить обращение к данным в Ceph и метаданным в Hive.
- Сделать Trino основным местом для создания новых расчетов в хранилище.
Мы ждём, что вы
- Имеете опыт работы с аналитическими СУБД (Vertica, Snowflake, ClickHouse, StarRocks, Presto, Trino и др.).
- Знаете, что для СУБД значит выполнить SQL-запрос и понимаете, как оптимизировать аналитические запросы.
- Имеете опыт разработки пайплайнов обработки данных.
Будет здорово, если вы:
- Уже работали с Trino или Presto.
- Понимаете необходимость моделирования данных.
- Имеете опыт оптимизации потребления ресурсов.
- Знаете и умеете писать на Java или Python.
Работа у нас — это
- Интересные и важные задачи на очень большом проекте.
- Передовые технологии и подходы, возможность пробовать новое.
- Опытные и заинтересованные коллеги, готовые оказать поддержку.
- Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
- Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
- Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
- Возможность работать удаленно и по желанию посещать комфортный офис в Москве.
О компании Avito
Avito — самый популярный сайт объявлений в России, классифайд №1 в мире. Месячная аудитория составляет 57,4 млн. — это больше трети населения России. Количество активных объявлений превысило 125 млн. Каждую секунду на “Авито” совершается более восьми сделок. А география сервиса — это вся Россия — от Калининграда до Дальнего Востока.