Инженер по данным

Сравни.ру – финансовый супермаркет, мы создаем удобные сервисы и рекомендации, для того чтобы помочь людям принимать правильные решения при выборе банковских и страховых продуктов — ОСАГО, страховок путешественника, страхования недвижимости, Каско, вкладов, кредитов, кредитных карт или подобрать лучший вариант ипотеки. Мы первыми в Рунете придумали и запустили сервисы оформления электронного ОСАГО и подбора кредита.

В 2025 году вошли в список ТОП-30 самых дорогих компаний Рунета по версии Forbes.

Сейчас у нас:

• 18 млн уникальных пользователей в месяц.

• 8 000 предложений от банков и страховых компаний.

• 140 000 отзывов о банках и страховых компаниях.

• Более 3000 оформленных страховок в день.

В чем ценность вакансии:

• Построение нового DWH с нуля с полноценным R&D и использованием лучших инструментов и лучших архитектурных подходов.

• Возможность самостоятельно реализовать сервисы “под ключ” от R&D до выпуска в прод.

• Горизонтальная команда, где мнение и опыта каждого участника влияет на реализацию всего проекта.

• При необходимости, нас будут консультировать лучшие специалисты и архитекторы на рынке.

Основной стек технологий на наших проектах:

• ELT на Python
• Оркестратор — Argo Workflows
• Kubernetes, TeamCity, OpenSearch, Grafana, Victoria Metrics, Amixr, Github Actions, Terraform, Argo CD
• Хранилище на базе Snowflake, объём — 11 ТБ (колоночное сжатие)
• Более 150 активных пользователей DWH, динамические окружения для разработки
• 50+ источников: MSSQL, MySQL, PostgreSQL, MongoDB, внешние API и т.д.
• Потоковая обработка через Kafka, source/sink-коннекторы
• В прототипе нового DWH: Greenplum, ClickHouse, Spark, Data Lake на Яндекс Облаке, dbt для сборки витрин данных

Что предстоит делать:

• R&D по ключевым частям платформы: качество данных, real-time, витрины, озёра и т.п.
• Разработка пайплайнов обработки (ELT).
• Интеграция с источниками, настройка Kafka-коннекторов.
• Написание заданий на Spark для потоковой загрузки в DWH и Data Lake.
• Разработка Python-фреймворка для управления всей платформой данных.
• Построение DDS-слоя и фреймворка для моделирования данных.
• Реализация архитектуры обработки по моделям lambda/kappa.
• CI/CD пайплайны, автотесты, поддержка стабильной доставки.
• Участие в развитии культуры работы с данными в компании.

Требования:

• Опыт работы Data Engineer от 3 лет.
• Уверенный Python.
• Опыт с Greenplum, ClickHouse, Spark, Kafka.
• Отличное знание SQL и умение оптимизировать запросы.
• Понимание, как устроены DWH и Data Lake.

Будет плюсом:

• Знание, как устроены высоконагруженные системы.
• Опыт с Java/Scala, Kubernetes/Helm.
• Понимание data governance-процессов: качество, lineage и т.д.
• Понимание контейнеризации и CI/CD.

Что мы предлагаем:

• Конкурентную зарплату;
• Развитую бонусную систему;
• ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни;
• Оплату посещения профильных конференций;
• Оплату профильных курсов;
• Холодильник с едой в офисе;
• Пицца/пироги/суши каждую пятницу, вечера национальных кухонь;
• Компенсацию спортзала;
• Современную технику;
• Покупку профильной литературы;
• Социальная ответственность: материальная помощь, при рождении ребёнка;
• Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.);
• Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).