Компания больше не ищет сотрудника. Посмотрите похожие предложения
Тимлид команды дата-инженеров
в Яндекс.Маркет
300 000 — 500 000 ₽/мес на руки
Технологии/инструменты
Мы команда инженеров данных, и наш продукт — Data Warehouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Наши пользователи — как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных.
Наше хранилище данных сейчас одно из самых крупных в России. К нему предъявляются высокие требования по надёжности, и это ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.
Стек команды
- Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse.
- Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.
- Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.
Что нужно делать
- Руководить командой дата-инженеров (от трёх человек).
- Формировать пакет технических инициатив и управлять им.
- Выявлять неэффективность в существующих процессах и оптимизировать их.
- Проектировать структуру хранения данных.
- Участвовать в развитии фреймворка поставки данных.
- Сопровождать разработанные процессы ETL.
- Участвовать в найме сотрудников в команду.
Мы ждем, что вы
- Уверенно знаете Python на уровне написания собственного фреймворка или SQL на уровне оптимизации запросов.
- Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными.
- Проектировали DWH: слои, модели хранения данных, процессы ETL.
Будет плюсом, если вы:
- Понимаете принципы работы хотя бы одной технологии распределённой обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP.
- Имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++.
- Умеете работать в командной строке систем Unix-like: Linux, macOS.
Условия
- Современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха.
- Официальное трудоустройство, компенсация затрат на питание на территории кампуса и в его окрестностях.
- Гибкий график: мы не контролируем ваше время, главное — выполнять задачи.
- Гибридный формат работы.
- Профессиональная команда, у которой можно многому научиться и перенять опыт.
- Культура открытости и взаимопомощи: у нас работают увлечённые люди, неравнодушные к тому, что они делают.
- Высокая скорость процессов и возможность быстро увидеть результат.
- Работа в технологической компании, которая создаёт полезные сервисы для миллионов людей.
О компании Яндекс.Маркет
Яндекс Маркет — технологичный маркетплейс, где можно купить то, что хочется легко и с приятными плюшками. Мы входим в топ крупнейших маркетплейсов и являемся одним из важнейших направлений развития Яндекса на ближайшие несколько лет. У нас мощная команда, амбициозные цели, много категорий, проектов, и останавливаться не собираемся.