Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Инженер данных (DWH)

в Яндекс.Маркет

250 000 —‍ 450 000 ₽/мес на руки

📍 Санкт-ПетербургМоскваОфис или гибрид

Специализация

Python

Уровень

Senior

Команда

6 - 10 человек

Яндекс.Маркет позволяет выбрать товар из миллиона предложений и быстро его купить. При создании программного обеспечения мы уделяем особое внимание производительности и надёжности: Маркет работает круглосуточно, без перерывов и выходных.

Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Наше хранилище данных сейчас одно из самых крупных в России — порядка 10 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Технологии/инструменты

PythonSQLETL

Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и ClickHouse.
Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.
Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.

Чем предстоит заниматься

Вести разработку ETL-процессов поставки данных.
Выявлять неэффективность в существующих процессах и оптимизировать их.
Проектировать структуру хранения данных.
Участвовать в развитии фреймворка поставки данных.
Погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом.
Сопровождать разработанные процессы ETL.

Ожидания

Уверенно знаете Python на уровне написания собственного фреймворка или SQL на уровне оптимизации запросов (если нет опыта с Python и SQL, мы поможем).
Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.

Будет плюсом:

Проектировали DWH: слои, модели хранения данных, процессы ETL.
Понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP.
Имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++.
Умеете работать в командной строке систем Unix-like: Linux, MacOS.

Что предлагаем

Современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха.
Официальное трудоустройство, компенсация оплаты питания на территории кампуса и в его окрестностях.
Гибкий график: мы не контролируем ваше время, главное — выполнять задачи.
Профессиональную команду, у которой можно многому научиться и перенять полезный опыт.
Культуру открытости и взаимопомощи: у нас работают увлеченные люди, небезразличные к тому, что они делают.
Высокую скорость процессов и возможность быстро увидеть свой вклад.
Работу в технологической компании, которая создает сервисы, приносящие пользу миллионам людей.

Полезные материалы

Как мы нанимаем разработчиков на С++: ссылка.
Как мы нанимаем разработчиков на Java: ссылка.

Юлия Кожевникова Talent Partner

О компании Яндекс.Маркет

Сфера

Продуктовая компания

Размер

1001+

Яндекс.Маркет (>100 тыс. партнёров, >3000 сотрудников, ~9.8 млн уникальных пользователей) — это сервис для поиска и выбора товаров, а также места их покупки. Входит в топ крупнейших маркетплейсов и является одним из самых востребованных сервисов Яндекса.