2ГИС

Data Engineer

в 2ГИС

от 250 000 ₽/мес на руки

📍 Москва (м. Кутузовская)Санкт-Петербург (м. Маяковская)НовосибирскМожно удалённо из РФ
Специализация
Data Engineer
Уровень
Senior
Требуемый опыт
5+ лет

Технологии/инструменты

ClickHouse / MS SQLHadoop / SparkKafkaAirflow / dbt / DagsterC#/.NETPythonGit

Мы — команда разработки хранилищ и инструментов аналитики (Statistic & Marketing Team), ищем Data Engineer. На нас полный цикл очистки сырых данных и превращение их в бизнес-статистику.

Наша команда собирает, обрабатывает и предоставляет в удобном формате уникальные данные из внутренних и внешних продуктов: пользовательская статистика, данные по аудитории, финансовая отчётность. Главная задача команды — создавать инструменты, которые помогают быстро анализировать и принимать верные решения на разных управленческих уровнях, включая стратегические решения.

Дата в компании сейчас — это петабайты данных с нагрузками до ~140000 rps.

Мы смотрим далеко вперед и хотим заранее быть готовыми к сильному скачку в количестве данных и пользователей, из-за чего начинаем проработку новой архитектуры с нуля, параллельно преобразуя старые решения.

У тебя есть возможность поучаствовать в создании чего-то нового и очень эффективного с нуля, и воплотить в жизнь то, что всегда хотелось сделать, но было трудно доказать бизнесу, что оно того стоит!

Что нужно будет делать ближайшее время с командой

  • Разработать и оптимизировать процесс забора данных из Hadoop/Spark, а также читать данные из Kafka.
  • Построить эффективные витрины данных в ClickHouse для аналитики в Yandex DataLens.
  • Разработать и оптимизировать ETL/ELT-пайплайны для обработки и трансформации данных.
  • Автоматизировать процесс формирования аналитических отчетов в DataLens.
  • Улучшить процессы извлечения данных из MS SQL и интеграции с другими системами.
  • Проанализировать и переработать существующую архитектуру данных, обеспечивая высокую производительность и отказоустойчивость.
  • Работать с потоковыми данными в Kafka и организовывать качественную доставку данных.
  • Настроить мониторинг и контроль качества данных, развернуть систему документирования метаданных (например, OpenMetadata или DataHub).
  • В дальнейшем подключать в инструментарий Облачные решения, Trino и т.д.

Наш стек технологий

  • Языки программирования: Сейчас C#/.NET, Python (будет плюсом Java/Scala/Kotlin/Go).
  • Хранилища данных: ClickHouse, MS SQL.
  • Big Data: Hadoop, Spark.
  • Потоковая обработка данных: Kafka.
  • ETL/ELT: Airflow (dbt, Dagster).
  • BI и визуализация: Yandex DataLens, Power BI.
  • Развертывание и мониторинг: Docker, Kubernetes, Grafana, Elasticsearch.
  • Облачные технологии: AWS S3 (будет плюсом).

Что мы ожидаем от кандидата

  • Опыт работы на позиции Data Engineer от 5 лет.
  • Хорошие знания SQL (ClickHouse, MS SQL, альтернативы).
  • Опыт работы с распределенными системами (Hadoop, Spark, альтернативы).
  • Навыки работы с потоковыми данными и системами очередей (Kafka).
  • Опыт проектирования и разработки ETL/ELT-пайплайнов (Airflow, dbt, Dagster или аналог).
  • Понимание принципов работы DWH и построения OLAP-витрин.
  • Опыт работы с BI-инструментами (DataLens, Tableau, PowerBI будет плюсом).
  • C#/.NET и Python сейчас используется в большей степени — будет плюсом Go/Java/Scala/Kotlin.
  • Навыки работы с Git, CI/CD и автоматизацией процессов развертывания.

Будет преимуществом:

  • Опыт работы с Airflow (dbt, Dagster) или другими инструментами оркестрации пайплайнов.
  • Опыт настройки OpenMetadata или DataHub для документирования метаданных.
  • Понимание концепций Data Governance и контроля качества данных.
  • Опыт работы с контейнеризацией (Docker, Kubernetes).
  • Опыт работы с AWS S3, Trino.

Как мы работаем и что ценим

  • Ориентируемся на конечный результат, выбирая простые и понятные решения вместо излишне сложных подходов.
  • Самостоятельно разбираемся в требованиях, доводим решения до завершенного состояния и осознанно оцениваем компромиссы между скоростью, стоимостью и надежностью.
  • Умеем грамотно декомпозировать задачи, планируя работу так, чтобы поддерживать прозрачность процесса и прогнозируемый результат.
  • Не боимся задавать вопросы и просить помощь, если сталкиваемся со сложностями.
  • Используем наилучшие инженерные практики (SOLID, DRY, KISS), но применяем их осознанно там, где они действительно необходимы.

Что мы предлагаем

  • 2ГИС — аккредитованная IT-компания.
  • У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске.
  • Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании.
  • Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента.
  • Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра.
  • Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.

Приходите, у нас хорошо. Как у других, только лучше!

Любовь Зазуля Recruiter
2ГИС

О компании 2ГИС

Сфера
Продуктовая компания
Инвестиции
$40M
Размер
1001+

2ГИС — IT-компания, которая помогает людям жить в городе. Они делают карту со справочником и навигатор. Их сервис работает в более чем 1200 городах России, Казахстана, ОАЭ и ещё семи стран. Каждый месяц их продукты используют более 80 млн пользователей.

За их сервисами стоит 40 команд профессиональных разработчиков. Пишут на C++, .NET, Objective-C, C#, Java, Kotlin, JavaScript, PHP, Go, Python, Scala и Swift. Тестируют автоматически и вручную, по заветам ООП и методам тест-дизайна. Сторонним разработчикам предоставляют доступ через API и SDK.

Похожие вакансии

8 000 – 15 000 $/мес на руки
Полная удалёнка
7 500 – 9 000 $/мес на руки
Полная удалёнка
450 000 – 530 000 ₽/мес на руки
📍 Москва (м. Савеловская), можно удалённо из РФ
350 000 – 500 000 ₽/мес на руки
📍 Москва (м. Белорусская), полная удалёнка
300 000 – 360 000 ₽/мес на руки
📍 Москва (м. Смоленская), Санкт-Петербург (м. Площадь Ленина), Минск (Беларусь), офис или гибрид