Компания больше не ищет сотрудника. Посмотрите похожие предложения
Data Engineer
в Rubbles
200 000 — 350 000 ₽/мес на руки
Технологии/инструменты
Мы в Rubbles занимаемся созданием Data Science-продуктов и разработкой аналитических решений для различных индустрий: системы предсказания спроса на товары для оффлайн-ритейлов, рекомендательные системы в банках, поисковые системы по товарам для онлайн-ритейлеров и многое другое. Среди наших клиентов: Сбербанк, Пятёрочка, KFC, Перекрёсток, Альфа-Банк, МВидео и др.
Мы находимся в поиске Data Engineer уровня Middle+ или Senior для усиления нашего продуктового направления по разработке платформы прогнозирования спроса и товарооборота в ритейле.
Сейчас в команде 5 технических специалистов (Data Scientists, System Analysts, разработчиков), и мы планируем увеличить её вдвое.
Мы ищем человека, который взял бы на себя задачи по организации потоков данных в рамках разрабатываемой платформы, оптимизацию систем хранения и обработки с использованием современных программных продуктов и подходов, а также привнес свою экспертизу в общее дело и помогал коллегам в повышении культуры работы с данными в целом.
Задачи
- Разработка и поддержка промышленных пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow, Prefect, Airbyte и т.д.), а также собственных разработок.
- Разработка коннкеторов к системам-источникам данных и системам-потребителям.
- Организация потоков данных в рамках микросервисной архитектуры платформы.
- Разработка схемы данных компонентов платформы в едином информационном поле.
- Работа над оптимизацией систем хранения (ClickHouse, PostgreSQL, Redis).
- Настройка и поддержка интеграционной шины данных на базе Kafka.
- Поддержка Data Scientist’ов и аналитиков данных (также работают на Python) в задачах разработки.
- Код ревью коллег.
- Обучение проектных команд в работе с компонентами разрабатываемой платформы.
Минимальные требования
- Опыт промышленной разработки на Python от 3-х лет.
- Опыт работы с популярными ETL фреймфорками (Airflow, Prefect, Airbyte и т.д.) от полугода, практический опыт в создании сложных пайплайнов.
- Опыт работы с MPP-системами и с колоночными хранилищами данных.
- Опыт разработки схемы данных, знание основных методологий построения хранилищ данных.
- Участие в строительстве DWH в роли разработчика.
- Опыт разворачивания, настройки мониторинга и передача на поддержку разработанных решений.
- Умение работать с командной строкой Linux / MacOS.
- Умение вести проекты в Git.
На что ещё смотрим:
- Знакомство со Spark.
- Знания Java / Kotlin.
- Опыт DevOps (Docker, Kubernetes, Gitlab-CI, настройка окружения на серверах и др.).
- Опыт разработки сервисов (Flask, Django, AsyncIO и др.).
- Опыт работы со Streamsets / NiFi.
Что предлагаем
- Участие в быстром росте компании, работающей на перспективном AI рынке.
- Удаленная работа при желании.
- Поддержка кандидата в профессиональном и карьерном росте.
- Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами.
- Гибкий график работы.
- Оформление полностью белое по ТК РФ.
- ДМС (включая стоматологию) после прохождения испытательного срока.
- Уютный офис в центре Москвы (2 минуты от м. Сухаревская) со всем необходимым для комфортной работы.
О компании Rubbles
Rubbles — российская IT-компания, специализирующаяся на разработке решений для оптимизации ключевых бизнес-процессов крупного бизнеса на основе обработки больших массивов данных. Алгоритмы, разработанные Rubbles, работают в ежедневных операциях банков, ритейл-сетей, промышленных предприятий и других компаний по всему миру. Среди клиентов: Сбербанк, Т-Банк, Альфа-Банк, Пятёрочка, KFC.