Все вакансииData EngineeringRemoteMiddle

Data Engineer

в Rubbles

250 000 —‍ 410 000 ₽/мес на руки

📍 МоскваПолная удалёнка

Специализация

Data Engineering

Уровень

Middle-to-Senior

Команда

51 - 100 человек

Мы в Rubbles создаем решения на базе анализа данных и искусственного интеллекта для оптимизации технологических и бизнес-процессов такие как: системы предсказания спроса на товары в ритейле, рекомендательные системы в банках, цифровые двойники, cистемы поддержки принятия решений на производстве и многое другое. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.

Мы ищем Data Engineer'ов разного уровня для усиления нашего направления, которое занимается разработкой систем прогнозирования спроса на товары, ценообразования, автоматического подбора оптимальных промо-акций и др.

Технологии/инструменты

PythonSparkSQLHadoopHiveLinuxAirFlowPostgreSQLClickHousePandasNumPy

Задачи

Помощь коллегам DS в оптимизации их работающих пайплайнов. Проактивность с предложениями оптимизации.
Взаимодействие с коллегами DevOps по настройке окружений, деплоя кода, работы с инфраструктурой компании.
Настройка и поддержка стэндов с которых запускаются задания.
Общение с коллегами DQ, выяснение деталей наполнения данных, участие в составлении БТ к данным.
Написание ETL-пайплайнов.
Решение неожиданных проблем с данными, задержками их доставки.
Настройка мониторинга разнообразных процессов.

Минимальные требования

Уверенные знания Python 3.7 + Spark 2.4/Spark 3.0 (структуры данных, алгоритмы, концепции языка).
Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов.
Глубокие теоретические знания стека технологий и практический опыт (Spark, Hadoop, Hive).
Linux.
Опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP.
Опыт оптимизаций SQL-запросов и понимание оптимизаций на уровне Spark Catalyst.
Опыт работы с MPP базами данных.
Опыт работы с Airflow.
Опыт работы с PostgreSQL и ClickHouse.
Знание и практический опыт использования Pandas и NumPy для продвинутой аналитики.

На что ещё смотрим:

Опыт работы: 3–6 лет.
Опыт работы с Kubernetes (K8s).
Опыт Devops (Docker, Gitlab CI, настройка окружения на серверах и др.).
Опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными.

Что предлагаем

Работа в одной из самых сильных ML-команд в России. Сильный коллектив DE/DS/DA и других специалистов. Есть возможность постоянно учиться и перенимать опыт.
Реальная Big Data с терабайтами данных и современным стеком технологий.
Гибкий график работы, лояльное предоставление отгулов и отпусков.
Гибкий формат работы: полная удаленка/гибрид/офис в Мск.
Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского.
Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами.
ДМС со стоматологией после испытательного срока (3 месяца) по всей России.
При желании работать из офиса — уютный офис в центре Москвы (2 минуты от м. Сухаревская) со всем необходимым для комфортной работы.

Особенно актуальное

Мы аккредитованная ИТ-компания со всеми вытекающими льготами.

Надежда Сухорукова Recruiter

О компании Rubbles

Сфера

Банки / Финтех

Инвестиции

Приватное финансирование

Размер

101 - 200

Rubbles — российская IT-компания, специализирующаяся на разработке решений для оптимизации ключевых бизнес-процессов крупного бизнеса на основе обработки больших массивов данных. Алгоритмы, разработанные Rubbles, работают в ежедневных операциях банков, ритейл-сетей, промышленных предприятий и других компаний по всему миру. Среди клиентов: Сбербанк, Т-Банк, Альфа-Банк, Пятёрочка, KFC.