Компания больше не ищет сотрудника. Посмотрите похожие предложения
Разработчик платформы аналитики
в Яндекс.Маркет
250 000 — 450 000 ₽/мес на руки
Технологии/инструменты
Мы — команда платформы аналитики — разрабатываем инструменты для поставки, обработки и анализа больших данных. Наши пользователи — инженеры данных и аналитики. Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.
Наше хранилище — одно из самых крупных в России (порядка 10 петабайт) и, с учётом темпов роста бизнеса, оно будет самым крупным. К нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.
Вам предстоит
- Строить отказоустойчивые и масштабируемые системы поставки данных, способные прокачивать терабайты в сутки.
- Масштабировать MPP-хранилища под BI-системами с десятков до сотен контейнеров.
- Развивать фреймворк поставки и обработки данных, чтобы экономить время инженера данных, упрощать стек для аналитиков.
- Повышать эффективность платформы, используя новые подходы и технологии: потоковую аналитику, real-time-поставку и новые способы агрегации данных.
Ожидания
- Уверенно знаете Python на уровне написания собственного фреймворка.
- Знаете SQL на уровне оптимизации сложных запросов.
- Знаете про слои DWH, модели хранения данных, процессы ETL.
- Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.
- Понимаете принципы работы хотя бы одной технологии распределённой обработки данных: Spark, Spark Streaming, Flink, MapReduce, ClickHouse, Greenplum.
Будет плюсом, если вы:
- Пользовались хотя бы одним MPP-хранилищем (Greenplum, ClickHouse, Vertica, Teradata и т. д.).
- Умеете пользоваться шинами данных (Kafka) и работать с архитектурой event-driven.
- Имеете глубокое знание PostgreSQL с точки зрения разработчика.
- Имеете опыт промышленной разработки на Java или C++.
Условия
- Современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха.
- Официальное трудоустройство, компенсация оплаты питания на территории кампуса и поблизости.
- Гибкий график: мы не контролируем ваше время, главное — выполнять задачи.
- Профессиональная команда, у которой можно многому научиться и перенять полезный опыт.
- Культура открытости и взаимопомощи.
- Высокая скорость процессов и возможность быстро увидеть свой вклад.
- Работа в технологической компании, которая создаёт сервисы, приносящие пользу миллионам людей.
О компании Яндекс.Маркет
Яндекс Маркет — технологичный маркетплейс, где можно купить то, что хочется легко и с приятными плюшками. Мы входим в топ крупнейших маркетплейсов и являемся одним из важнейших направлений развития Яндекса на ближайшие несколько лет. У нас мощная команда, амбициозные цели, много категорий, проектов, и останавливаться не собираемся.