Компания больше не ищет сотрудника. Посмотрите похожие предложения
Data Engineer
в ecom.tech
150 000 — 300 000 ₽/мес на руки
Технологии/инструменты
СберМегаМаркет — это большая дерзкая цель, крутая команда и стабильные инвестиции.
Продукт, который мы создали — высоконагруженная онлайн-платформа, соединяющая товары и покупателей. Множество сервисов нашего продукта работают в гибридной инфраструктуре, которая постоянно расширяется и развивается. Мы не ограничиваем себя в выборе технологий и находим оптимальное решение для каждой задачи.
Стараемся поддерживать и развивать внутреннее комьюнити и инженерную культуру. Формируем knowledge sharing платформу и проводим еженедельные внутренние митапы по технологиям и архитектуре.
В течение года в СберМегаМаркете был проведён успешный пилот по созданию общей платформы данных на open source стеке PySpark, Hadoop, Airflow. На платформе происходит сбор данных с различных систем компании и продуктивизация ML моделей: рекомендательная система, сортировка каталога, модель оттока и другие. В связи с расширением инфраструктуры и переездом на Kubernetes, S3, SberCloud мы ищем дата инженеров под широкий спектр задач.
Стек команды
- Команда работает по Agile, используем Jira, Confluence, Bitbucket.
Временная зона команды
(GMT+3) Москва.
Что предстоит делать
- Миграция сборки данных на PySpark с Yarn на Kubernetes.
- Разработка инфраструктуры для разработки моделей (ML Flow).
- Внедрение near-real time сбора данных.
- Подготовка витрин для аналитиков и моделей (PySpark, Airflow).
Кого ищем
- Способность разрабатывать, строить и поддерживать хранилища данных.
- Опыт работы 3-6 лет.
- Опыт работы с Nifi, Airflow, Spark, Kafka.
- Опыт работы со стеком Hadoop.
- Опыт построения Data Lake.
- Базовые знания Linux.
- Знание и практический опыт использования одного из языков: Java, Scala, C#, Python и библиотек работы с данными.
- Уверенное знание SQL.
Что предлагаем
- Свободу в принятии решений.
- Открытую и неформальную корпоративную культуру.
- Возможность карьерного роста сотрудников вместе с динамичным ростом компании.
- Обучение на внутренних и внешних курсах и конференциях.
- Достойную заработную плату.
- Полностью или частично-удаленную работу.
- Кафетерий льгот, где каждый может выбрать то, что нужно именно ему: от ДМС (со стоматологией) до благотворительности.
- Офис в шаговой доступности от метро.
О компании ecom.tech
Мы делаем ИТ для ритейла реального времени. Чтобы все нужные товары и продукты могли попадать домой к людям мгновенно, насколько это возможно в физическом мире – с помощью технологий.
На наших решениях работают Самокат, Мегамаркет, логистические системы. Компания выросла из команды Samokat.tech — наше видение всегда было шире одного пользовательского сервиса. Мы хотим изменить саму модель потребления, чтобы люди по-другому относились к покупкам и своему времени.
В команде 4000 человек — мы большие и разные, стремимся к балансу между технической выверенностью и фокусом на бизнес-ценность, уважаем процессы и избегаем закостенелости. Делаем продукты, которыми пользуемся сами.