Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Middle Data Engineer

в Rubbles

200 000 —‍ 270 000 ₽/мес на руки

Полная удалёнка

Специализация

Data Science

Уровень

Middle

Мы в Rubbles занимаемся разработкой и внедрением DS-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и FMCG, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.

Мы ищем Data Engineer'а на наши внутренние проекты, где мы решаем следующие задачи: оптимизация внутренних ETL-процессов, создание ETL с нуля, принятие решений об использовании необходимых инструментов и фреймворков, написание кода для batch/real-time обработки данных.

Технологии/инструменты

PythonETLAirFlowPrefectAirbyteSQLGit

Задачи

Разработка коннекторов к системам-источникам данных и системам-потребителям.
Организация потоков данных в рамках микросервисной архитектуры платформы.
Разработка схемы данных компонентов платформы в едином информационном поле.
Работа над оптимизацией систем хранения (ClickHouse, PostgreSQL, Redis).
Настройка и поддержка интеграционной шины данных на базе Kafka.
Поддержка Data Scientist’ов и аналитиков данных (также работают на Python) в задачах разработки.

Минимальные требования

Опыт промышленной разработки на Python от 2-х лет.
Опыт работы с популярными ETL-фреймфорками (AirFlow, Prefect, Airbyte и т.д.) от полугода, практический опыт в создании сложных пайплайнов.
Опыт разработки схемы данных, знание основных методологий построения хранилищ данных.
Уверенное знание SQL.
Участие в строительстве DWH в роли разработчика.
Умение работать с командной строкой Linux/MacOS.
Умение вести проекты в Git.

На что ещё смотрим:

Опыт работы: 3–6 лет.
Знакомство со Spark.
Опыт работы с MPP — системами и с колоночными хранилищами данных.
Опыт DevOps (Docker, Kubernetes, Gitlab-CI, настройка окружения на серверах и др.).
Опыт разработки сервисов (Flask, Django, Asyncio и др.).
Опыт работы со Streamsets/NiFi.

Надежда Сухорукова Recruiter

О компании Rubbles

Сфера

Банки / Финтех

Инвестиции

Приватное финансирование

Размер

101 - 200

Rubbles — российская IT-компания, специализирующаяся на разработке решений для оптимизации ключевых бизнес-процессов крупного бизнеса на основе обработки больших массивов данных. Алгоритмы, разработанные Rubbles, работают в ежедневных операциях банков, ритейл-сетей, промышленных предприятий и других компаний по всему миру. Среди клиентов: Сбербанк, Т-Банк, Альфа Банк, Пятёрочка, KFC.