Data Engineering Team Lead (BI Platform)

У нас много изменений в архитектуре и большая зона ответственности. Ищем тимлида, которому интересно разбираться в сложных системах и влиять на то, какими они станут.

Привет! Наш сервис помогает клиентам находить профессионалов для разных задач, а специалистам — зарабатывать на том, что они любят и умеют делать.

Ищем тимлида в команду BI. Несмотря на название, это скорее инженерная BI-платформа, чем бизнесовая команда. Задача ребят — сделать так, чтобы аналитики и бизнес получали нужные данные и инструменты быстро, стабильно и с понятным качеством.

В зоне команды много разных систем: realtime-аналитика, CDC из основной MySQL-базы, ETL и витрины данных, ClickHouse и Greenplum, калькулятор результатов A/B-экспериментов, OpenMetadata, Metabase и внутренние сервисы.

Сейчас у нас сразу несколько больших инженерных изменений: перенос realtime-аналитики на новый стандартизированный пайплайн, переход с RabbitMQ на Kafka, запуск CDC и обогащения событий в проде, развитие калькулятора A/B-тестов и системы расчёта зарплат поддержки.

В команде пять человек: три data-инженера, DWH-архитектор и BI-аналитик. Тебе предстоит быть их пипл-менеджером и отвечать за то, как команда проходит через эти изменения.

Работаем почти полностью удалённо. Регулярно встречаемся на онлайн-стендапе, иногда выбираемся куда-нибудь вместе, но обязательных офлайн-встреч нет.

Технологии

• Python — основной язык команды. На нём пишем большую часть сервисов и внутренних инструментов, которые сами поддерживаем.
• TypeScript — используем для сервисов, которые выходят за пределы команды, например админки и MCP-серверов.
• SQL — работаем с ClickHouse, Greenplum и MySQL.
• ClickHouse — realtime-аналитика, маркетинговые данные, затраты рекламных агентств и реплики витрин.
• Greenplum — ETL и формирование витрин по нескольким доменам данных.
• Kafka — стриминг аналитических событий и CDC.
• Debezium — CDC из основной MySQL-базы компании.
• Airflow 3 — оркестрация ETL-процессов.
• OpenMetadata — метаданные объектов баз данных и бизнес-глоссарий сущностей и метрик.
• Metabase — BI-инструмент.
• Есть немного легаси на PHP и Java, но новые решения на них не пишем.

Зачем тебе к нам

• Определять, какой будет BI-платформа Профи.ру дальше. Команда создаёт инфраструктуру и инструменты, которыми пользуются аналитики и бизнес. У тебя здесь большая зона технического влияния: от принципов доставки и хранения данных до того, как устроены ключевые витрины и доступ к ним.
• Прийти в момент, когда можно заметно изменить архитектуру. Мы переводим realtime-аналитику на новый пайплайн, переезжаем с RabbitMQ на Kafka, запускаем CDC и near-realtime-обогащение событий. Многие важные решения ещё предстоит принять и довести до продакшена.
• Работать с платформой целиком, а не с одним её слоем. В одной команде сходятся стриминг, ETL, ClickHouse и Greenplum, A/B-инфраструктура, метаданные и внутренние сервисы. Можно влиять на полный путь данных — от появления события в продукте до момента, когда аналитик или бизнес получает на его основе ответ.

Чем предстоит заниматься

• Быть пипл-менеджером для команды: работать с тремя data-инженерами, DWH-архитектором и BI-аналитиком.
• Провести команду через миграцию на новый пайплайн realtime-аналитики: перенести отправку событий и помочь перевести пользователей данных на новые структуры в ClickHouse.
• Перевести стриминговую аналитику с RabbitMQ на Kafka.
• Довести до продакшена CDC из основной MySQL-базы и near-realtime-обогащение аналитических событий.
• Развивать калькулятор результатов A/B-экспериментов: у аналитиков накопился запрос на существенные изменения в этом инструменте.
• Развивать систему расчёта зарплат поддержки, сделать расчёты прозрачнее и обеспечить отображение оплачиваемых событий в реальном времени.
• Поддерживать и развивать платформу данных: ETL и витрины, ClickHouse и Greenplum, OpenMetadata, Metabase и внутренние сервисы команды.
• Вместе с командой разбираться в логике ключевых витрин и следить за качеством и своевременностью предоставления данных.
• Писать код вместе с командой — разработка будет занимать примерно 30–40% рабочего времени.

Что нужно, чтобы к нам присоединиться

• Хорошая база в data engineering. В команде сильные самостоятельные инженеры, поэтому не нужно быть главным техническим экспертом. Но важно говорить с ребятами на одном языке, уверенно обсуждать пайплайны, ETL, хранилища и стриминг, вместе принимать решения.
• Опыт проектирования и развития data-платформ. Уметь видеть систему целиком, задавать правильные вопросы, замечать риски и помогать команде разбирать сложные технические развилки.
• Понимание realtime- и near-realtime-сценариев. В работе много стриминга, CDC и доставки событий, поэтому пригодится опыт с Kafka, ClickHouse, Debezium или похожими технологиями.
• Умение вести технические обсуждения и принимать решения в условиях неопределённости. Здесь не всегда будет один очевидный путь: важно уметь сравнивать варианты, объяснять выбор и договариваться с сильными инженерами.
• Готовность быть пипл-менеджером команды. В подчинении будут data-инженеры, DWH-архитектор и BI-аналитик, поэтому важно уметь держать общий фокус команды, помогать людям развиваться и выстраивать рабочее взаимодействие.

Работай с комфортом

Online&Offline

Работай, где и когда тебе удобно.

ДМС

С первого дня работы ходи в лучшие клиники России, пользуйся телемедициной.

Обучение

Оплачиваем курсы, конференции, митапы. Проводим тренинги и хакатоны.

Зарплата

Платим в рынке или выше. Пересматриваем зарплату и грейд два раза в год.

Завтраки в офисе

Каждое утро омлет, запеканка, каша, авокадо, лосось, сыр и другая вкуснятина.

Книги

Пользуйся электронной библиотекой «Альпина» или бери с книжной полки в офисе.

Скидка на Профи.ру

Компенсируем до 3450 рублей gross от стоимости заказа на Профи.ру.

Тимбилдинги

Встречайся с профийцами в любом городе. Компания компенсирует веселье :)

На выбор с компенсацией 50/50

Психотерапия

Оплатим часть стоимости сеансов с психотерапевтом.

Спорт

Частично компенсируем любой спорт: фитнес-клуб, занятия с тренером, студии.

Коворкинг

Выбирай коворкинг в любом городе, кроме Москвы (там уже есть классный офис).

Рабочее место

Оплатим нужную мебель и аксессуары для домашнего рабочего места.

Пиши, мы на связи.