Компания больше не ищет сотрудника. Посмотрите похожие предложения
Middle Data Engineer
в Rubbles
200 000 — 270 000 ₽/мес на руки
Технологии/инструменты
Мы в Rubbles занимаемся разработкой и внедрением DS-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и FMCG, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.
Мы ищем Data Engineer'а на наши внутренние проекты, где мы решаем следующие задачи: оптимизация внутренних ETL-процессов, создание ETL с нуля, принятие решений об использовании необходимых инструментов и фреймворков, написание кода для batch/real-time обработки данных.
Задачи
- Разработка коннекторов к системам-источникам данных и системам-потребителям.
- Организация потоков данных в рамках микросервисной архитектуры платформы.
- Разработка схемы данных компонентов платформы в едином информационном поле.
- Работа над оптимизацией систем хранения (ClickHouse, PostgreSQL, Redis).
- Настройка и поддержка интеграционной шины данных на базе Kafka.
- Поддержка Data Scientist’ов и аналитиков данных (также работают на Python) в задачах разработки.
Минимальные требования
- Опыт промышленной разработки на Python от 2-х лет.
- Опыт работы с популярными ETL-фреймфорками (AirFlow, Prefect, Airbyte и т.д.) от полугода, практический опыт в создании сложных пайплайнов.
- Опыт разработки схемы данных, знание основных методологий построения хранилищ данных.
- Уверенное знание SQL.
- Участие в строительстве DWH в роли разработчика.
- Умение работать с командной строкой Linux/MacOS.
- Умение вести проекты в Git.
На что ещё смотрим:
- Опыт работы: 3–6 лет.
- Знакомство со Spark.
- Опыт работы с MPP — системами и с колоночными хранилищами данных.
- Опыт DevOps (Docker, Kubernetes, Gitlab-CI, настройка окружения на серверах и др.).
- Опыт разработки сервисов (Flask, Django, Asyncio и др.).
- Опыт работы со Streamsets/NiFi.
О компании Rubbles
Rubbles — российская IT-компания, специализирующаяся на разработке решений для оптимизации ключевых бизнес-процессов крупного бизнеса на основе обработки больших массивов данных. Алгоритмы, разработанные Rubbles, работают в ежедневных операциях банков, ритейл-сетей, промышленных предприятий и других компаний по всему миру. Среди клиентов: Сбербанк, Т-Банк, Альфа-Банк, Пятёрочка, KFC.