Go-разработчик (Блок технологий)

Мы — команда разработки OneDWH, единого DWH для всей компании. Он приходит на смену разрозненным решениям, которые команды строили каждая под себя: вместо множества обособленных хранилищ — одно общее. Данные живут в кластерах YTsaurus. В зоне ответственности команды — несколько доменов:

• Data Catalog — каталог, в котором поставщики данных публикуют метаинформацию о своих таблицах и зависимостях между ними. Благодаря этому можно проследить всю цепочку — от сырых логов до готовых витрин.
• ETL-фреймворк — таблицы и работающие с ними процессы (YQL, Python и Spark) описаны декларативно в отдельном репозитории. У фреймворка собственный оркестратор и движок динамического распределения ETL между кластерами — это сокращает time-to-market поставок и оптимизирует потребление ресурсов. Также мы обеспечиваем доступность критичных данных даже при даунтайме одного из кластеров YTsaurus.
• Data Quality (DQ) — следим за соблюдением сроков поставок критичных данных и уведомляем пользователей об их срывах. Развиваем проверки качества данных.

Задачи

• Развивать платформу DWH как продукт.
• Делать удобные инструменты для дата-инженеров: поиск данных, заведение и сопровождение ETL.
• Делать удобные инструменты для аналитиков, которые работают с данными в OneDWH.
• Работать с графами зависимостей ETL-процессов: планирование выполнения, динамическое распределение по кластерам, оптимизация.
• Строить отказоустойчивые решения для критичных данных.

Требования

• Опыт разработки сервисов на Go.
• Уверенное владение PostgreSQL.
• Опыт работы с Kafka.
• Хорошее знание алгоритмов и структур данных, особенно графовых.

Будет плюсом

• Знакомство с Java, Python, Spark или YTsaurus.
• Опыт в области DWH, ETL или дата-инженерии.
• Опыт работы с Airflow.
• Опыт работы с CI, CD-пайплайнами в GitLab или другой системе.
• Желание тесно работать с дата-инженерами и аналитиками: вникать в их задачи и делать продукты, которые упрощают им жизнь.

Мы предлагаем

• Гибкий график работы.
• Бонусы и скидки от партнеров.
• Офис в центре города.
• ДМС.
• Профессиональная команда.