📍 МоскваСанкт-ПетербургПолная удалёнка
Специализация
Data Science / Machine Learning
Ozon — одна из крупнейших российских e-commerce компаний. Ежедневно обрабатывается более 200,000 заказов, которые доставляются в 6500 населённых пунктов по всей России.
Мы находимся в поиске Data Engineer в команду Платформы интеграции данных.
Технологии/инструменты
ScalaHadoopPostgreSQL/MS SQLVertica/Greenplum/BigQuery/Redshift/SynapseKubernetesKafkaGit
Наш стек:
- Scala, Akka-Stream, Cats, Spark, Python.
- Vertica, MS SQL, ClickHouse, Hadoop (Hadoop3, Hdfs, Yarn, Hive) и др.
- Airflow (Celery Executor, k8s).
- Gitlab CI/CD, Kubernetes.
- Kafka, Prometheus, Grafana.
- Gitlab, Git.
Чем предстоит заниматься
- Поддержкой и развитием существующих инструментов на базе Hadoop (Hadoop3, HDFS, Yarn, Hive).
- Разработка Spark приложений для обработки данных.
- Поддержка и развитие существующих решений на Kafka.
- Внедрение полноценного Dev / Stage контура для сервисов.
- Переписать / отрефакторить легаси код по довозу данных.
- Рефакторинг метрик, борды, алертов.
- Внедрение синка и подвоза данных MultiDC.
- Внедрение / рефакторинг E2E тестирования сервисов.
- Участие в проектировании архитектуры разрабатываемых решений.
- Участие в выборе используемых технологий и компонентов.
- Внедрение и сопровождение технических решений.
- Документирование разрабатываемых решений.
- Проведение Code Review.
Ожидания
- Уверенное владение Scala.
- Опыт работы с Hadoop (HDFS, Yarn, Hive).
- Опыт разработки многопоточных приложений.
- Опыт работы с СУБД (PostgreSQL / MS SQL).
- Опыт работы с аналитическими БД (Vertica / Greenplum / BigQuery / Redshift / Synapse).
- Опыт работы с Kubernetes, Kafka, Git.
- Опыт работы с KV-хранилищами.
Будет плюсом:
- Опыт работы с Prometheus, Grafana.
- Опыт работы с Airflow (Celery Executor, k8s).
Что предлагаем
- Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce.
- Свободу действий в принятии решений.
- Достойный уровень заработной платы.
- Профессиональную команду, которой мы гордимся.
- Возможность развиваться вместе с нашим бизнесом.
Маргарита Бастрыгина IT Recruiter
