Senior Data Engineer

О нас

Мы работаем в сегменте RegTech. Это новый рынок, активно развивающийся во всем мире. Большинство игроков — SaaS-сервисы, позволяющие компаниям выполнять требования регулирующих органов, анализировать партнеров и клиентов, наблюдать и анализировать конкурентов, совершать M&A сделки, отслеживать связи между компаниями и многое другое. Это быстро развивающаяся отрасль на пересечении финансов, аналитики, технологий обработки данных, включая ИИ, нормативных и регуляторных требований.

Rusprofile — быстрорастущая частная компания, один из лидеров российского рынка RegTech. Сервис помогает компаниям быстро и эффективно принимать критические для бизнеса решения на основе данных, собираемых ежедневно из десятков источников. Аудитория Rusprofile — это около 10 млн пользователей в месяц и десятки тысяч платящих клиентов, от малого бизнеса до крупных корпораций. Наша миссия — помогать бизнесам в их развитии, делая данные простыми и полезными для принятия решений.

За последние 3 года мы выросли по выручке в 5 раз, в 10 раз по базе клиентов, и мы не планируем останавливаться. Мы больше не стартап, но и не корпорация. Мы принимаем решения быстро, у нас нет сложной иерархии и бюрократии. Мы постоянно развиваемся и адаптируемся, чтобы иметь возможность создавать действительно ценные продукты для наших клиентов и развивать бизнес.

Как построена работа

Мы выстроили инженерную культуру, где ценится качественный код и техническая экспертиза команды. Разработчики активно участвуют в проектировании решений, а время на работу с техническим долгом и рефакторинг — это часть нашего процесса, а не "когда-нибудь потом". У нас опытная команда, готовая делиться знаниями, и мы открыты к новым технологиям, если они решают реальные проблемы.

Процессы у нас построены на принципах Agile и постоянно оптимизируются под потребности команды. Работаем итерациями, проводим короткие и полезные синки, уделяем внимание проектированию и code review. При этом у нас нет лишней бюрократии — мы берем лучшее из гибких подходов и адаптируем процессы так, чтобы они помогали команде, а не создавали препятствия.

О команде

Команда Rusprofile — это 40+ человек:

• Основатель Дмитрий Стрелков, который когда-то заканчивал факультет вычислительной математики и кибернетики МГУ. Спустя 8 лет активного развития Rusprofile, все также управляет бизнесом.
• Наша команда разработки состоит из 22 человек: двух инженеров по инфраструктуре, 13 разработчиков, а также 4 тестировщика и одного дата-инженера.
• Бизнес-ориентированная команда продукта: продакт-менеджеры, продуктовый аналитик и дизайнеры продукта.

Сейчас в Data Engineering один человек. Мы усиливаем это направление, чтобы построить полноценную платформу данных.

Команда Data Engineering

• Обеспечивает единый источник правды по данным в компании для аналитики;
• Строит и развивает платформу данных (хранилище, витрины, ingestion, трансформации);
• Проектирует и поддерживает архитектуру обработки и хранения данных для аналити;
• Отвечает за стабильность, воспроизводимость и масштабируемость пайплайнов;
• Выстраивает системный контроль качества данных.

Мы создаем прозрачную и масштабируемую систему данных, которая поддерживает рост продукта и позволяет бизнесу принимать решения на основе достоверной информации.

Про наш стек: DBT, Dagster, DataHub, ClickHouse, MySQL, Kafka, Kubernetes, GitLab, Snowplow, GrowthBook.

Временная зона команды

• (GMT+3) Москва ±4 часа.

Что ты будешь делать

Твоим руководителем будет Lead команды Data Engineering, а основными стейкхолдерами — продуктовый аналитик и продуктовая команда.

Наша цель — построение и развитие аналитического хранилища данных и витрин для продуктовой аналитики и BI.

Твоя зона ответственности — развитие и поддержка аналитического контура данных, чтобы он был масштабируемым, управляемым и устойчивым к изменениям.

Твои задачи будут включать

1. Развитие аналитического слоя DWH

• Загрузка и обработка событий (Snowplow) и биллинга.
• Формирование детального слоя хранилища данных:
  • Продаж.
  • Воронки.
  • Регистраций.
  • MRR.
  • Экспериментов.
• Написание кода формирования аналитических витрин.

2. Развитие dbt-проекта

• Переписывание существующих DAG в dbt.
• Развитие структуры и логики dbt-проекта.
• Оптимизация моделей.
• Обеспечение воспроизводимости и прозрачности трансформаций.

3. Качество и устойчивость данных

• Контроль качества данных.
• Поддержка и развитие проверок.
• Обеспечение корректности и консистентности аналитических моделей.
• Поддержка Superset-дашбордов со стороны данных.

4. Взаимодействие с продуктовой аналитикой

• Помощь продуктовым аналитикам в работе с витринами.
• Погружение в процессы формирования метрик.
• Развитие моделей данных под потребности аналитики и продукта.

Ты станешь частью команды Data Engineering, которая строит и развивает аналитическую платформу данных и обеспечивает единый источник правды для бизнеса. Предстоит плотное взаимодействие с аналитикой и продуктом, чтобы данные были встроены в принятие ключевых бизнес-решений.

Как понять, что ты подойдёшь

• Опыт работы от 3 лет в роли Analytics Engineer / Product Data Engineer.
• Глубокое знание SQL и практический опыт оптимизации запросов.
• Уверенное владение Python.
• Опыт построения ETL / ELT-пайплайнов и их сопровождения.
• Опыт data modeling (проектирование детального слоя DWH и аналитических витрин).
• Понимание принципов data quality, обеспечения надёжности данных и data lineage.
• Опыт работы с аналитическими СУБД (желательно ClickHouse или аналогами).
• Понимание устройства реляционных и нереляционных баз данных.
• Навыки мониторинга и отладки пайплайнов обработки данных.
• Умение проектировать архитектуру данных (индексы, партиционирование, шардирование, оптимизация производительности).
• Опыт работы с Airflow или другими инструментами оркестрации.
• Опыт работы с Superset или другими BI-инструментами со стороны данных.
• Опыт работы с Docker и контейнеризацией.
• Базовые навыки Linux и понимание DevOps-практик.
• Опыт работы с Git и CI/CD.
• Системное мышление и способность видеть архитектуру данных целиком.
• Опыт работы с legacy-решениями и проведения рефакторинга.

Будет плюсом

• Опыт работы с dbt и Dagster.
• Умение самостоятельно разворачивать и поддерживать сервисы обработки данных.

Мы предлагаем

• Работу в продукте с доказанной ценностью и понятной стратегией развития. Мы работаем спринтами, но с понятным горизонтом планирования — есть гибкость в задачах и при этом стратегическое направление не теряется.
• Среду, где данные — ядро бизнеса. От качества, скорости и надёжности работы с ними напрямую зависит результат компании, поэтому Data Engineering здесь — стратегически важное направление.
• Осознанное движение к зрелой архитектуре: оркестрация, воспроизводимость, контроль качества, прозрачность процессов и снижение технологического долга.
• Высокий уровень ответственности и доверия. Мы ценим самостоятельность, системное мышление и инженерный подход к решению задач.
• Гибкий график и возможность удалённой работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу).
• Работу в аккредитованной ИТ-компании с полным соблюдением ТК РФ.
• ДМС, 7 Day Off, оплату обучения, семинаров и конференций.