Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Data Engineer Scala (Обработка и хранение данных)

в Ozon

от 150 000 ₽/мес на руки

📍 МоскваПолная удалёнка

Специализация

Scala

Уровень

Middle

Команда DE Platform строит инструменты интеграции данных, которые выступают как мост между бизнесом и BI. Эти данные используются во множестве процессов внутри компании. Экспертиза команды также позволяет решать нетривиальные задачи по гарантиям доставки, технологическому развитию как инструментов, так и инфраструктуры вокруг.

Технологии/инструменты

ScalaHadoopPostgreSQL/MS SQLVertica/Greenplum/BigQuery/Redshift/SynapseKubernetesKafkaGit

Scala, Akka-Stream, Cats, Spark, Python.
Vertica, MS SQL, ClickHouse, Hadoop (Hadoop3, HDFS, Yarn, Hive) и др.
AirFlow (Celery Executor, k8s).
Gitlab CI/CD, Kubernetes.
Kafka, Prometheus, Grafana.
Gitlab, Git.

Вам предстоит

Поддержка и развитие существующих инструментов на базе Hadoop (Hadoop3, HDFS, Yarn, Hive).
Разработка Spark приложений для обработки данных.
Поддержка и развитие существующих решений на Kafka.
Внедрение полноценного dev/stage контура для сервисов.
Переписать/отрефакторить легаси код по довозу данных.
Рефакторинг метрик, борды, алертов.
Внедрение синка и подвоза данных multiDC.
Внедрение/рефакторинг E2E тестирования сервисов.
Участие в проектировании архитектуры разрабатываемых решений.
Участие в выборе используемых технологий и компонентов.
Внедрение и сопровождение технических решений.
Документирование разрабатываемых решений.
Проведение code review.

Ожидания

Уверенное владение Scala.
Опыт работы с Hadoop (HDFS, Yarn, Hive).
Опыт разработки многопоточных приложений.
Опыт работы с СУБД (PostgreSQL/MS SQL).
Опыт работы с аналитическими БД (Vertica/Greenplum/BigQuery/Redshift/Synapse).
Опыт работы с Kubernetes, Kafka, Git.
Опыт работы с KV-хранилищами.
Ответственность, проактивность.

Будет плюсом:

Опыт работы с Prometheus, Grafana.
Опыт работы с AirFlow (Celery Executor, k8s).

Мы предлагаем

Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce.
Свободу действий в принятии решений.
Достойный уровень заработной платы.
Профессиональную команду, которой мы гордимся.
Возможность развиваться вместе с нашим бизнесом.

Герман Гараев Recruiter

О компании Ozon

Сфера

Электронная коммерция

Инвестиции

$100M+

Размер

1001+

Ozon — одна из крупнейших российских e-commerce компаний. Ежедневно обрабатывается более 200,000 заказов, которые доставляются в 6500 населённых пунктов по всей России.