Компания больше не ищет сотрудника. Посмотрите похожие предложения
Data Engineer
в Сравни
от 250 000 ₽/мес на руки
Технологии/инструменты
Сравни.ру — финансовый супермаркет, мы создаем удобные сервисы и рекомендации, для того чтобы помочь людям принимать правильные решения при выборе банковских и страховых продуктов — ОСАГО, страховок путешественника, страхования недвижимости, Каско, вкладов, кредитов, кредитных карт или подобрать лучший вариант ипотеки. Мы первыми в Рунете придумали и запустили сервисы оформления электронного ОСАГО и подбора кредита.
Сейчас у нас:
- 18 млн. уникальных пользователей в месяц.
- 8 000 предложений от банков и страховых компаний.
- 140 000 отзывов о банках и страховых компаниях.
- Более 3000 оформленных страховок в день.
Ищем Middle/Senior Data Engineer на проект по разработке новой платформы данных.
Основной стек технологий на наших проектах:
- ELT фреймворк на Python.
- Оркестратор — Argo Workflows.
- Kubernetes, TeamCity, OpenSearch, Grafana, Victoria Metrics, Amixr, GitHub Actions, Terraform, Argo CD.
- Хранилище на базе Snowflake с 11 ТБ поколоночно сжатых данных.
- Более 150 активных пользователей DWH и динамические окружения для разработки.
- 50+ источников данных в виде MSSQL, MySQL, Postgres, MongoDB, разнообразными сторонними API и тд.
- Streaming через Kafka, с помощью Source/Sink Kafka коннекторов.
- На mvp нового DWH: Greenplum, ClickHouse, Spark, Data lake на базе Yandex Cloud Object Storage, dbt для формирования витрин данных.
В чем ценность вакансии
- Построение нового DWH с нуля с полноценным R&D и использованием лучших инструментов и лучших архитектурных подходов.
- Возможность самостоятельно реализовать сервисы “под ключ” от r&d до выпуска в прод.
- Горизонтальная команда, где мнение и опыта каждого участника влияет на реализацию всего проекта.
- При необходимости нас будут консультировать лучшие специалисты и архитекторы на рынке.
Задачи
- Проведение R&D по различным направлениям проектирования платформы данных: data quality, real-time, data marts, data lake, etc.
- Разработка ELT пайплайнов.
- Интеграция с системами источниками, настройка Kafka коннекторов.
- Разработка Spark заданий для непрерывной поставки данных в DWH/Data Lake.
- Разработка Python фреймворка для управления всеми аспектами работы платформы данных.
- Разработка/внедрение фреймворка моделирования данных DDS слоя в DWH.
- Реализация архитектуры обработки данных Lambda/Kappa.
- Разработка CI/CD пайплайнов, автотестов.
- Развитие процессов обработки данных в компании.
Ожидания
- Уже работал на позиции Data Engineer не менее 3-х лет.
- Уверенный опыт программирования на Python.
- Опыт работы с Greenplum, СlickHouse, Spark, Kafka.
- Уверенные знания SQL, оптимизация запросов.
- Понимание концепций построения DWH/Data Lake.
- Понимание процессов Data Governance: Data Quality, Data Lineage, etc.
- Понимание контейнеризации и CI/CD.
Будет плюсом:
- Понимание ключевых принципов архитектуры высоконагруженных приложений.
- K8s, Helm.
- Опыт работы с Java/Scala.
Мы предлагаем
- Конкурентную зарплату.
- Развитую бонусную систему.
- ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни.
- Оплату посещения профильных конференций.
- Оплату профильных курсов.
- Холодильник с едой в офисе.
- Пиццу/пироги/суши каждую пятницу, вечера национальных кухонь.
- Компенсацию спортзала.
- Современную технику.
- Покупку профильной литературы.
- Социальную ответственность: материальная помощь, при рождении ребёнка.
- Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.).
- Помощь с переездом для кандидатов из других городов (оплата билетов и первого месяц квартиры).
- Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).
О компании Сравни
Сравни — финансовый маркетплейс, где созданы удобные сервисы и рекомендации для того, чтобы помочь людям принимать правильные решения при выборе банковских и страховых продуктов — ОСАГО, Каско, страхования путешественников, недвижимости, вкладов, кредитов, кредитных карт или подобрать лучший вариант ипотеки.
Мы первыми в Рунете придумали и запустили сервисы оформления электронного ОСАГО и подбора кредитов.
Сейчас у нас:
- 16 млн уникальных пользователей в месяц.
- 8 000 предложений от банков и страховых компании.
- 140 000 отзывов о банках и страховых компаниях.
- Более 7000 оформленных страховок в день.
- Каждый 10 полис ОСАГО в России куплен на Сравни.