Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
Яндекс.Маркет

Разработчик платформы аналитики

в Яндекс.Маркет

250 000 —‍ 450 000 ₽/мес на руки

📍 Санкт-ПетербургМоскваОфис или гибрид
Специализация
Python
Уровень
Senior
Команда
6 - 10 человек

Мы — команда платформы аналитики — разрабатываем инструменты для поставки, обработки и анализа больших данных. Наши пользователи — инженеры данных и аналитики. Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.

Наше хранилище — одно из самых крупных в России (порядка 10 петабайт) и, с учётом темпов роста бизнеса, оно будет самым крупным. К нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Технологии/инструменты

PythonSQLETLDWH

Вам предстоит

  • Строить отказоустойчивые и масштабируемые системы поставки данных, способные прокачивать терабайты в сутки.
  • Масштабировать MPP-хранилища под BI-системами с десятков до сотен контейнеров.
  • Развивать фреймворк поставки и обработки данных, чтобы экономить время инженера данных, упрощать стек для аналитиков.
  • Повышать эффективность платформы, используя новые подходы и технологии: потоковую аналитику, real-time-поставку и новые способы агрегации данных.

Ожидания

  • Уверенно знаете Python на уровне написания собственного фреймворка.
  • Знаете SQL на уровне оптимизации сложных запросов.
  • Знаете про слои DWH, модели хранения данных, процессы ETL.
  • Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.
  • Понимаете принципы работы хотя бы одной технологии распределённой обработки данных: Spark, Spark Streaming, Flink, MapReduce, ClickHouse, Greenplum.

Будет плюсом, если вы:

  • Пользовались хотя бы одним MPP-хранилищем (Greenplum, ClickHouse, Vertica, Teradata и т. д.).
  • Умеете пользоваться шинами данных (Kafka) и работать с архитектурой event-driven.
  • Имеете глубокое знание PostgreSQL с точки зрения разработчика.
  • Имеете опыт промышленной разработки на Java или C++.

Условия

  • Современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха.
  • Официальное трудоустройство, компенсация оплаты питания на территории кампуса и поблизости.
  • Гибкий график: мы не контролируем ваше время, главное — выполнять задачи.
  • Профессиональная команда, у которой можно многому научиться и перенять полезный опыт.
  • Культура открытости и взаимопомощи.
  • Высокая скорость процессов и возможность быстро увидеть свой вклад.
  • Работа в технологической компании, которая создаёт сервисы, приносящие пользу миллионам людей.
Александра Лисицына Recruiter
Яндекс.Маркет

О компании Яндекс.Маркет

Сфера
Продуктовая компания
Размер
1001+

Яндекс.Маркет (>100 тыс. партнёров, >3000 сотрудников, ~9.8 млн уникальных пользователей) — это сервис для поиска и выбора товаров, а также места их покупки. Входит в топ крупнейших маркетплейсов и является одним из самых востребованных сервисов Яндекса.

Похожие вакансии

400 000 – 500 000 ₽/мес на руки
📍 Москва (м. Парк культуры), Санкт-Петербург (м. Площадь Ленина), Нижний Новгород, Екатеринбург, Казань, Белград (Сербия), Ереван (Армения), самостоятельный переезд
350 000 – 450 000 ₽/мес на руки
📍 Москва (м. Дмитровская), полная удалёнка
350 000 – 500 000 ₽/мес на руки
📍 Москва (м. Деловой центр), офис или гибрид
310 000 – 400 000 ₽/мес на руки
📍 Москва (м. Спортивная), полная удалёнка
300 000 – 500 000 ₽/мес на руки
📍 Москва (м. Парк культуры), Санкт-Петербург (м. Площадь Ленина), офис или гибрид