Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
Яндекс.Маркет

Инженер данных (DWH)

в Яндекс.Маркет

250 000 —‍ 450 000 ₽/мес на руки

📍 Санкт-ПетербургМоскваОфис или гибрид
Специализация
Python
Уровень
Senior
Команда
6 - 10 человек

Яндекс.Маркет позволяет выбрать товар из миллиона предложений и быстро его купить. При создании программного обеспечения мы уделяем особое внимание производительности и надёжности: Маркет работает круглосуточно, без перерывов и выходных.

Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Наше хранилище данных сейчас одно из самых крупных в России — порядка 10 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Технологии/инструменты

PythonSQLETL
  • Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и ClickHouse.
  • Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.
  • Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.

Чем предстоит заниматься

  • Вести разработку ETL-процессов поставки данных.
  • Выявлять неэффективность в существующих процессах и оптимизировать их.
  • Проектировать структуру хранения данных.
  • Участвовать в развитии фреймворка поставки данных.
  • Погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом.
  • Сопровождать разработанные процессы ETL.

Ожидания

  • Уверенно знаете Python на уровне написания собственного фреймворка или SQL на уровне оптимизации запросов (если нет опыта с Python и SQL, мы поможем).
  • Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.

Будет плюсом:

  • Проектировали DWH: слои, модели хранения данных, процессы ETL.
  • Понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP.
  • Имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++.
  • Умеете работать в командной строке систем Unix-like: Linux, MacOS.

Что предлагаем

  • Современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха.
  • Официальное трудоустройство, компенсация оплаты питания на территории кампуса и в его окрестностях.
  • Гибкий график: мы не контролируем ваше время, главное — выполнять задачи.
  • Профессиональную команду, у которой можно многому научиться и перенять полезный опыт.
  • Культуру открытости и взаимопомощи: у нас работают увлеченные люди, небезразличные к тому, что они делают.
  • Высокую скорость процессов и возможность быстро увидеть свой вклад.
  • Работу в технологической компании, которая создает сервисы, приносящие пользу миллионам людей.

Полезные материалы

  • Как мы нанимаем разработчиков на С++: ссылка.
  • Как мы нанимаем разработчиков на Java: ссылка.
Юлия Кожевникова Talent Partner
Яндекс.Маркет

О компании Яндекс.Маркет

Сфера
Продуктовая компания
Размер
1001+

Яндекс.Маркет (>100 тыс. партнёров, >3000 сотрудников, ~9.8 млн уникальных пользователей) — это сервис для поиска и выбора товаров, а также места их покупки. Входит в топ крупнейших маркетплейсов и является одним из самых востребованных сервисов Яндекса.

Похожие вакансии

500 000 – 550 000 ₽/мес на руки
📍 Москва (м. Белорусская), можно удалённо из РФ
450 000 – 500 000 ₽/мес на руки
📍 Москва (м. Парк культуры), Санкт-Петербург (м. Площадь Ленина), офис или гибрид
350 000 – 500 000 ₽/мес на руки
📍 Москва (м. Деловой центр), Санкт-Петербург (м. Площадь Ленина), Екатеринбург, Нижний Новгород, Воронеж, Казань, Самара, Минск (Беларусь), можно удалённо из РФ
350 000 – 500 000 ₽/мес на руки
📍 Москва (м. Деловой центр), Санкт-Петербург (м. Площадь Ленина), Екатеринбург, Нижний Новгород, Воронеж, Казань, Самара, Минск (Беларусь), можно удалённо из РФ
350 000 – 500 000 ₽/мес на руки
📍 Москва (м. Парк культуры), офис или гибрид