Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Все вакансииData ScientistRelocateSenior

Senior Big Data Engineer (Scala, Spark)

в Joom

от 350 000 ₽/мес на руки

📍 Рига (Латвия)МоскваПомощь с переездом

Специализация

Data Science

Уровень

Senior

Технологии/инструменты

Scala/JavaSparkKubernetesAWS

Joom — международный мобильный маркетплейс, самый быстрорастущий e-Commerce сервис Европы. Первую версию приложения мы запустили летом 2016-го года, к текущему моменту у нас более 400 миллионов установок по всему миру.

Платформа аналитики Joom создает инфраструктуру и основные Big Data процессы в компании. У нас 1B+ событий в день, 1PB+ данных, и современный стек (Spark / Kubernetes без Hadoop, AWS, BQ). Кроме Joom Marketplace, у нас запускаются новые проекты, обработка данных для которых только создается.

В роли Senior Data Engineer, вы будете делать интересные крупные задачи — от технического дизайна до поддержки пользователей.

За последний год мы

Создавали и разрабатывали аналитические продукты (детектор аномалий, платформу экспериментов).
Перешли на Spark 3 в Kubernetes.
Создавали ETL инструменты (такие, как импорт событий и баз данных).
Внедряли open-source инструменты (Jupyter, PySpark).

Кого ищем

Имеете опыт завершения крупных и сложных проектов.
Понимаете принципы обработки больших данных.
Имеете практический опыт с Scala или Java.

Будет плюсом:

Знаете Python.
Работали с Map-Reduce решениями (Apache Spark, Hadoop Map Reduce, YT).
Владеете SQL на среднем или продвинутом уровне.
Работали с аналитическими БД (ClickHouse, Presto, Druid и т.д.).
Знакомы с облачными технологиями (EMR, Kubernetes, Databricks, Docker, Terraform и т.д.).
Знакомы с планировщиками ETL процессов (Oozie, Airflow, Luigi и т.д.).
Мы будем рады кандидатам из смежных областей (backend / DWH / ML), которым интересно стать Data Engineer'ом.