Data-инженер (ClickHouse)

Наша команда разрабатывает и поддерживает внутреннюю аналитическую платформу для всего банка. Миссия — сделать работу с данными проще, быстрее и надежнее для всех пользователей: от аналитиков до продуктовых команд. Мы не просто строим DWH — мы создаем инструменты и сервисы, которые:

• Снижают Time-to-market пользователей за счет автоматизации и самообслуживания.
• Повышают стабильность и предсказуемость решений.
• Упрощают жизнь пользователям через интуитивные интерфейсы и готовые шаблоны.

Наши ключевые продукты

• Многослойное DWH на базе HDFS, Greenplum и ClickHouse.
• Внутренние сервисы автоматизации: управление метаданными, event-based запуск ETL, кастомные загрузчики.
• Мы обеспечиваем полный жизненный цикл платформы: от архитектуры до обучения пользователей и развития базы знаний.

Задачи Data-инженера

Оптимизация и развитие существующей платформы загрузки:

• Анализ и улучшение текущих процессов загрузки в ClickHouse: поиск узких мест, оптимизация схем данных, настройка движков таблиц под реальные паттерны использования.
• Траблшутинг сложных инцидентов: быстрая диагностика проблем с производительностью, репликацией или консистентностью данных (используя глубокий опыт эксплуатации ClickHouse).
• Развитие механизмов управления метаданными и конфигурациями для упрощения подключения новых источников пользователями.

Поддержка и обучение пользователей (Enablement):

• Техническая поддержка и менторство 150-500 пользователей в процессе миграции их отчетов на ClickHouse.
• Проведение воркшопов, написание гайдов и лучших практик: как правильно писать SQL, как проектировать схемы, как избегать антипаттернов.
• Постоянное улучшение UX платформы: сбор обратной связи, выявление проблем пользователей и их устранение через развитие инструментов и сервисов.

Развитие Self-Service и AI-решений:

• Развитие AI-бота и автоматизированной базы знаний: обучение модели на типовых вопросах, ошибках и решениях, чтобы пользователи получали ответы мгновенно без участия команды.
• Создание системы умных подсказок и валидации запросов пользователей до их запуска в продакшен.

Архитектурный надзор:

• Контроль качества создаваемых пользователями витрин.
• Обеспечение стабильности кластера при росте нагрузки в десятки раз.

Экспертиза Data-инженера

Data-инженер имеет глубокий опыт эксплуатации ClickHouse в продакшене и видел реальные проблемы больших кластеров и знает, как их решать.

Hard Skills:

• Промышленный опыт работы с ClickHouse (обязательно).
• Глубокое понимание архитектуры: шардирование, репликация, работа Keeper/ZooKeeper.
• Экспертиза в движках семейства MergeTree (Replicated, Replacing, Summing, Aggregating): знание нюансов слияния, дедупликации, работы с партициями (parts).
• Умение диагностировать и решать проблемы производительности: анализ системных таблиц, понимание работы слияний (merges), мутаций, TTL.
• Опыт оптимизации схем данных (PARTITION BY, ORDER BY, индексы) под специфические запросы.
• Знание паттернов безопасной и быстрой загрузки данных, работы с Distributed-таблицами, избежания shuffle.
• Продвинутый SQL: умение читать и оптимизировать сложные запросы других людей, объяснять планы выполнения.
• Python: для написания скриптов автоматизации, интеграций и логики для AI-агентов.
• Понимание принципов работы больших данных: HDFS, Spark (базово), Greenplum (как источник).

Soft Skills:

• Навыки менторства и коммуникации: умение объяснять сложные технические вещи простым языком большой аудитории.
• Продуктовое мышление: желание делать инструмент удобным для пользователя, а не просто «работающим.
• Проактивность: способность самостоятельно находить проблемы в UX и предлагать решения.
• Дополнительные навыки, которые мы ценим.
• Опыт создания или обучения LLM-агентов или чат-ботов для технической поддержки.
• Опыт работы с dbt, Airflow, Kafka.
• Знание методологий моделирования данных (Data Vault, 3НФ).
• Опыт миграции больших объемов отчетов из других BI-систем (Power BI, Tableau).
• Навыки написания технической документации и баз знаний.

Бенефиты для сотрудников

• Возможность работать из офиса или удаленно.
• ДМС со стоматологией, массажем, телемедициной, ежегодными чекапами, которое работает как в Москве, так и в регионах.
• Три оплачиваемых отгула в год.
• Страхование жизни в путешествиях, от несчастных случаев, болезней и критических заболеваний.
• Бесплатные индивидуальные консультации психологов, юристов, экспертов по личным финансам и консультантов по здоровому образу жизни.
• Поддержку опытного наставника, обучающие курсы для комфортной адаптации, помощь в развитии экспертизы со стороны профессиональных сообществ банка.
• Собственную ИТ-академию, участие в конференциях.
• Льготные условия по банковским продуктам и услугам.
• Скидки от партнеров банка в приложении PrimeZone в сферах здоровья, развлечений, творчества и интернет-покупок.
• Еще десятки льгот и бонусов для сотрудников.