Привет!
Мы команда DMP-Маркета. Мы разрабатываем различные инструменты для дата-инженеров и аналитиков данных.
Перед нами стоят амбициозные цели: оптимизировать потребление вычислительных ресурсов на 20% CPU (а это тысячи ядер), внедрять новые технологии и распространять наши инструменты на весь Яндекс. Если вы талантливый разработчик и готовы принять вызов — присоединяйтесь к нам.
О команде
DMP-Маркета — платформа для обработки данных хранилища. Мы создаём инструменты для DWH, BI и аналитиков данных и стремимся сделать их работу максимально удобной и эффективной. Наша команда из 6 человек участвует в разнообразных проектах — от доработки движка MapReduce до использования LLM для генерации нейминга полей в хранилище. Мы ценим гибкость и умение взаимодействовать с заказчиками.
Какие задачи вас ждут
- Развитие инфраструктуры. При обработке больших данных остро встаёт проблема производительности HDD. Для уменьшения нагрузки на диски необходимо доработать основной MapReduce-инструмент для обработки и анализа данных — YQL (Yandex Query Language), чтобы данные между нодами расчёта передавались через хранилище в RAM.
- Разработка ETL-инструментов, которыми пользуется весь Яндекс. Нашими инструментами пользуются не только в Маркете, но и в различных подразделениях Яндекса — например, в сервисе кеширования результатов SQL-запросов при использовании BI-инструмента DataLens. Данным сервисом пользуются во всём Яндексе. Только в Маркете количество пользователей более 1500.
- Улучшение пользовательского опыта и эффективности. Наши пользователи — это дата-инженеры и аналитики, взаимодействующие с различными продуктовыми данными. Для них мы создаём инструменты, которые увеличивают эффективность их работы и упрощают использование инфраструктурных сервисов. Вам предстоит создавать бесшовные интеграции с инструментами из других частей Яндекса, участвовать в проектах улучшения эффективности и стабильности, используя в том числе технологии LLM.
Мы ждём, что вы
- Отлично знаете Python.
- Знаете базовые принципы и паттерны проектирования ПО.
- Стремитесь писать код, который легко читать и поддерживать.
- Работали с заказчиками (собирали требования, вели проекты).
Будет плюсом, если вы
- Разрабатывали на C++, Java.
- Работали с MPP-хранилищами (Greenplum, ClickHouse и другими).
- Знакомы с LLM и используете модели в работе, разрабатывали на основе GPT свои инструменты.
- Знаете слои DWH, модели хранения данных и процессы ETL.
- Понимаете принципы работы технологий распределённой обработки данных (Spark, Spark Streaming, Flink, MapReduce).
Что мы предлагаем
Высокий совокупный доход
- Премии каждые полгода для всех, кто успешно прошёл ревью.
Офисы, в которые хочется ходить
- В офисах есть всё, что нужно для комфортной работы: удобные рабочие зоны, уютные места для отдыха, кофе-пойнты для спокойных перерывов.
- В офисах в Москве, Санкт-Петербурге, Екатеринбурге, Новосибирске, Казани и Нижнем Новгороде есть тренажёрные залы со всем необходимым.
Расширенная медицинская страховка
Начинает работать с первого месяца. В неё входят:
* Плановая и неотложная помощь, стоматология, расширенный превентивный чекап, телемедицина 24/7.
* Психотерапия в онлайн-сервисах наших партнёров.
* После года работы добавляется лазерная коррекция зрения, после двух — ведение беременности и роды.
Также мы покрываем 80% стоимости ДМС для супругов и детей.
Возможности для роста
- Есть всё, чтобы учиться: внутренняя платформа с 100+ курсами, менторство и программы для руководителей.
- Оплачиваем участие в профильных конференциях и помогаем подготовиться к публичным выступлениям.
- Если для работы нужен иностранный язык, поможем организовать обучение и оплатим 50% стоимости.
И ещё
- Делаем закрытые мероприятия: вечеринки, фестивали и другие ивенты.
- В Яндексе много клубов по интересам, Random Coffee, сервисы для знакомств и взаимопомощи. А наши спортивные клубы регулярно участвуют в забегах, триатлонах и других соревнованиях.
- На портале скидок масса специальных предложений для сотрудников от наших партнёров.
