Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
Яндекс.Маркет

Инженер данных DWH

в Яндекс.Маркет

150 000 —‍ 300 000 ₽/мес на руки

📍 МоскваПолная удалёнка
Специализация
Data Science / Machine Learning
Уровень
Senior
Команда
1 - 5 человек

Яндекс — крупнейшая российская IT компания. Основные направления бизнеса: поиск и портальные сервисы, онлайн-торговля, медиасервисы, геосервисы и отдельные подразделения (Яндекс.Go и Яндекс.Еда).

Яндекс.Маркет — это и маркетплейс, и площадка для сравнения цен и выбора товаров. Перед бизнесом стоят смелые цели по росту, которые не достижимы без большой аналитической работы для принятия правильных решений.

Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault. Наше хранилище данных сейчас одно из самых крупных в России — порядка 10 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Технологии/инструменты

ETLPythonSQL

Чем предстоит заниматься

  • Вести разработку ETL-процессов поставки данных.
  • Выявлять неэффективность в существующих процессах и оптимизировать их.
  • Проектировать структуру хранения данных.
  • Участвовать в развитии фреймворка поставки данных.
  • Погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом.
  • Сопровождать разработанные процессы ETL.

Кого ищем

  • Уверенно знаете Python на уровне написания собственного фреймворка или SQL на уровне оптимизации запросов (если нет опыта с Python и SQL, мы поможем).
  • Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.

Будет плюсом:

  • Опыт проектировки DWH: слои, модели хранения данных, процессы ETL.
  • Понимание принципов работы хотя бы одной технологии распределенной обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP.
  • Опыт промышленной разработки на одном из языков высокого уровня: Java или C.
  • Умение работать в командной строке систем Unix-like: Linux, macOS.

Что предлагаем

  • Современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха, можем обсудить и удалённую работу, если ваш часовой пояс недалеко от Москвы и вы готовы быть на связи.
  • Официальное трудоустройство, компенсация оплаты питания на территории кампуса и в его окрестностях.
  • Гибкий график: мы не контролируем ваше время, главное — выполнять задачи.
  • Профессиональная команда, у которой можно многому научиться и перенять полезный опыт.
  • Культура открытости и взаимопомощи: у нас работают увлеченные люди, небезразличные к тому, что они делают.
  • Высокая скорость процессов и возможность быстро увидеть свой вклад.
  • Работа в технологической компании, которая создает сервисы, приносящие пользу миллионам людей.
Татьяна Украинец Recruiter
Яндекс.Маркет

О компании Яндекс.Маркет

Сфера
Продуктовая компания
Размер
1001+

Яндекс Маркет — технологичный маркетплейс, где можно купить то, что хочется легко и с приятными плюшками. Мы входим в топ крупнейших маркетплейсов и являемся одним из важнейших направлений развития Яндекса на ближайшие несколько лет. У нас мощная команда, амбициозные цели, много категорий, проектов, и останавливаться не собираемся.

Похожие вакансии

550 000 – 800 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю
5 000 – 6 500 €/мес на руки
📍 Лимасол (Кипр), полная удалёнка
400 000 – 500 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю
400 000 – 500 000 ₽/мес на руки
📍 Москва (м. Краснопресненская), Санкт-Петербург (м. Беговая), можно удалённо из РФ
380 000 – 440 000 ₽/мес на руки
📍 Москва, можно удалённо из РФ