Яндекс.Маркет

Инженер данных DWH

в Яндекс.Маркет

210 000 —‍ 400 000 ₽/мес на руки

📍 Москва (м. Смоленская)Санкт-Петербург (м. Площадь Ленина / м. Новочеркасская)Офис или гибрид
Специализация
Data Engineering
Уровень
Middle

Яндекс Маркет — один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов.

Мы, команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.

Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Технологии/инструменты

PythonSQL

Что предстоит делать

  • Вести разработку ETL-процессов поставки данных.
  • Выявлять неэффективность в существующих процессах и оптимизировать их.
  • Проектировать структуру хранения данных.
  • Участвовать в развитии фреймворка поставки данных.
  • Погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом.
  • Сопровождать разработанные процессы ETL.

Мы ждём, что вы

  • Уверенно знаете Python на уровне написания собственного фреймворка или SQL на уровне оптимизации запросов.
  • Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.
  • Имеете опыт работы от 1 года.

Будет плюсом, если вы:

  • Проектировали DWH: слои, модели хранения данных, процессы ETL.
  • Понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, ClickHouse.
  • Имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++.
  • Умеете работать в командной строке систем Unix-like: Linux, MacOS.

Что мы предлагаем

  • Современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха.
  • Официальное трудоустройство, компенсация оплаты питания на территории кампуса и в его окрестностях.
  • Гибкий график: мы не контролируем ваше время, главное — выполнять задачи.
  • Профессиональная команда, у которой можно многому научиться и перенять опыт.
  • Культура открытости и взаимопомощи: у нас работают увлечённые люди, небезразличные к тому, что они делают.
  • Высокая скорость процессов и возможность быстро увидеть свой вклад.
  • Работа в технологической компании, которая создаёт сервисы, приносящие пользу миллионам людей.

Полезные материалы

Полина Безбородова Recruiter
Яндекс.Маркет

О компании Яндекс.Маркет

Сфера
Продуктовая компания
Размер
1001+

Яндекс Маркет — технологичный маркетплейс, где можно купить то, что хочется легко и с приятными плюшками. Мы входим в топ крупнейших маркетплейсов и являемся одним из важнейших направлений развития Яндекса на ближайшие несколько лет. У нас мощная команда, амбициозные цели, много категорий, проектов, и останавливаться не собираемся.

Похожие вакансии

500 000 – 800 000 ₽/мес на руки
📍 Москва (м. Белорусская), можно удалённо из РФ
420 000 – 560 000 ₽/мес на руки
📍 Москва (м. Белорусская), Санкт-Петербург (м. Новочеркасская), Казань, Самара, полная удалёнка
400 000 – 480 000 ₽/мес на руки
📍 Москва (м. Смоленская), офис или гибрид
400 000 – 480 000 ₽/мес на руки
📍 Москва (м. Смоленская), Санкт-Петербург (м. Площадь Ленина), Минск (Беларусь), можно удалённо из РФ
390 000 – 520 000 ₽/мес на руки
📍 Москва (м. Динамо), можно удалённо из РФ