Мы в Rubbles создаем решения на базе анализа данных и искусственного интеллекта для оптимизации технологических и бизнес-процессов, такие как: системы предсказания спроса на товары в ритейле, рекомендательные системы в банках, цифровые двойники, системы поддержки принятия решений на производстве и многое другое. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.
Мы ищем Data Engineer'ов разного уровня для усиления нашего направления, которое занимается разработкой систем прогнозирования спроса на товары, ценообразования, автоматического подбора оптимальных промо-акций и др.
Пример задач:
- Помощь коллегам DS в оптимизации их работающих пайплайнов. Проактивность с предложениями оптимизации.
- Взаимодействие с коллегами DevOps по настройке окружений, деплоя кода, работы с инфраструктурой компании.
- Перенос кода расчетов из PostgreSQL на Spark и его последующие оптимизации.
- Настройка и поддержка стэндов, с которых запускаются задания.
- Общение с коллегами DQ, выяснение деталей наполнения данных, участие в составлении БТ к данным.
- Написание ETL-пайплайнов.
- Решение неожиданных проблем с данными, задержками их доставки.
- Настройка мониторинга разнообразных процессов.
Ждем от кандидата:
- Уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0 (структуры данных, алгоритмы, концепции языка).
- Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов.
- Глубокие теоретические знания стека технологий и практический опыт (Spark, Hadoop, Hive).
- Linux.
- Опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP.
- Опыт оптимизаций SQL-запросов и понимание оптимизаций на уровне Spark Catalyst.
- Опыт работы с MPP базами данных.
- Опыт работы с Airflow.
- Опыт работы с Postgres и Clickhouse.
- Знание и практический опыт использования Pandas и NumPy для продвинутой аналитики.
На что ещё смотрим:
- Опыт работы с Kubernetes (K8s).
- Опыт DevOps (Docker, Gitlab-CI, настройка окружения на серверах и др.).
- Опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными.
У нас:
- Работа в одной из самых сильных ML-команд в России. Сильный коллектив DE/DS/DA и других специалистов. Есть возможность постоянно учиться и перенимать опыт.
- Реальная Big Data с терабайтами данных и современным стеком технологий.
- Гибкий график работы.
- Гибкий формат работы: полная удаленка/гибрид/офис в Москве.
- Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского.
- Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами.
- ДМС со стоматологией после испытательного срока (3 месяца) по всей России.
Особенно актуальное:
- Мы аккредитованная ИТ-компания со всеми вытекающими льготами.
