Data Engineer

Мы строим корпоративную дата-платформу следующего уровня. Это новый сервис с амбициозной задачей: трансформировать наработки компании в единое стандартизированное решение для работы с данными. Отказываемся от легаси, проектируем архитектуру заново, сохраняем лучшее (например, Apache Spark), и постепенно переносим существующие пайплайны на новую платформу.

С нуля — это не «начать с чистого листа», это возможность заложить фундамент, который будет надёжным, масштабируемым и понятным десяткам инженерных команд. Именно сейчас мы переопределяем техстек, архитектурные подходы, процессы. И именно сейчас у тебя есть шанс поучаствовать в запуске платформы, куда будут стекаться все корпоративные данные.

Почему это интересно

• Ты действительно будешь создавать платформу с нуля — не “настроил Airflow и готово”, а архитектура верхнего уровня с безопасностью, мониторингом и многопользовательской нагрузкой.
• Прямое влияние на технологический курс всей компании: твои решения будут использовать десятки команд.
• Работа с современным стеком: Spark 3+, Kafka, S3, ClickHouse, и BI-инструментами.
• Возможность реализовать тех. решения, которые трудно было бы внедрить в рамках существующего кода/подходов.
• Технический вызов: миграция с Hadoop, масштабируемость, отказоустойчивость, строгие SLA на доставку данных.

Что предстоит делать

• Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для Ingest/Transform.
• Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
• Работать с большими объёмами данных и высоконагруженными Kafka-топиками.
• Строить отказоустойчивые пайплайны обработки и доставки данных.
• Участвовать в архитектурных решениях, внедрять Best Practices для хранения, мониторинга и качества данных.
• Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP).
• Сопровождать миграцию BI-отчётов на новую платформу (например, DataLens, Power BI).

Мы будем рады специалисту, который

• Имеет 5+ лет опыта на позиции Data Engineer/Big Data Engineer.
• Отлично понимает, как работает Spark и умеет его готовить (RDD/DataFrames, Partitioning, Tuning).
• Имеет опыт работы с высоконагруженной Kafka (десятки/сотни тысяч событий, масштабируемость, latency).
• Работал с ClickHouse и знает, как «выжать» из него максимум.
• Знаком с построением дата-архитектуры (DWH, OLAP, ETL/ELT, чанки, шардирование, SLA).
• Умеет проектировать пайплайны под отказоустойчивость, traceability и продакшеновую эксплуатацию.
• Пишет на одном из языков программирования, например, Scala.
• Знает SQL и может читать логику отчетов без боли.
• Понимает, как работать с облачными хранилищами и строить отказоустойчивую delivery (AWS S3 — плюс).

Плюсом будут

• Опыт построения дата-платформ и миграции данных между системами/подходами.
• Знание инструментов мониторинга и автоматического контроля качества данных (Data Contracts).
• Опыт настройки OpenMetadata/DataHub, реализации практик Data Governance.
• Опыт с Trino, Presto, dbt.
• Инфраструктурный опыт: Docker, Kubernetes, CI/CD.

Как мы работаем

• Не боимся убирать легаси — мы осознанно избавляемся от устаревших решений.
• Оцениваем эффективность не по объёму кода, а по бизнес-ценности.
• Любим, когда инженер предлагает нестандартные, но обоснованные решения.
• Верим, что архитектура важна, если её понимают (human-friendly-документация — мастхэв).
• Умеем договариваться — и с бизнесом, и между собой.

Условия

• 2ГИС — аккредитованная IT-компания.
• У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске.
• Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании.
• Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента.
• Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра.
• Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.