Дата инженер (Integration)

О компании

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы.

Примеры будущих задач

• Мы используем гипернормализованную модель данных (Anchor Modeling) и разрабатываем внутренний инструмент для загрузки и моделирования данных. Такая модель данных позволяет легко вносить изменения в загрузки и эффективно кодировать изменения в истории.
• Мы находимся в процессе адаптации трино для задач, в которых раньше мы использовали вертику. Для этого нам нужно подружить загрузчик данных с трино. Адаптация трино открывает нам возможность поменять работу пользователей с данными, спрятав от них необходимость сталкиваться с нормализованной моделью при работе с хранилищем. Дополнительно это позволит нам снять вендор лок и довести инструмент до уровня переиспользуемого open source решения.

Вам предстоит

• Разработка, разработка и разработка.
• Адаптация инструмента загрузки для работы с синтаксисом трино, чтобы использовать коннекторы трино в загрузках.
• Адаптация алгоритмов дедупликации данных для работы с трино.
• Разработка нового движка хранения поверх Anchor Modeling.

Мы ждём, что вы

• Знаете и умеете писать на Java, Python.
• Разбираетесь в устройстве колоночных форматов хранения и эффективных методах работы с ними.
• Проектировали или отвечали за компоненты различных систем.

Будет здорово, если вы:

• Работали с кластерными СУБД (Vertica, Snowflake, ClickHouse, StarRocks, Trino и др.).
• Понимаете, что такое хранилище данных.
• Работали с инструментами интеграции данных (data bricks, dbt, KSQL).

Работа у нас — это

• Интересные и важные задачи на очень большом проекте.
• Передовые технологии и подходы, возможность пробовать новое.
• Опытные и заинтересованные коллеги, готовые оказать поддержку.
• Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
• Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
• Возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.