ETL Developer

Временная зона команды

• Москва (GMT+3) +/-2 часа.

Что для нас важно

• Опыт реализации CDC через Debezium для различных баз данных.
• Настройка топологий Kafka для обеспечения надёжности и отказоустойчивости.
• Построение пайплайнов в NiFi для интеграции с ksqlDB и Kafka.
• Создание потоковой аналитики и реализация ETL на основе событийной архитектуры (event-driven architecture).
• Настройка взаимодействия NiFi с Kafka, REST API, RabbitMQ и другими системами.

Технологии

Kafka и Debezium

• Apache Kafka: знание архитектуры Kafka: брокеры, топики, продюсеры, консюмеры, схемы сообщений.
• Debezium: настройка источников данных (PostgreSQL, MongoDB и др.) для CDC через Debezium. Конфигурация Kafka Connect для интеграции с Debezium.

ksqlDB

• Основы работы с ksqlDB: написание запросов для потоковой обработки данных (streaming queries). Создание потоков (streams) и таблиц (tables) в ksqlDB.
• Интеграция с Kafka: конфигурирование источников данных для анализа потоков в ksqlDB.

Apache NiFi:

• Пайплайны данных: разработка потоков данных (data flows) в NiFi для чтения, преобразования и записи данных. Настройка процессоров для работы с Kafka, базами данных и другими источниками/приемниками.
• Интеграция систем: построение пайплайнов для обработки событий в режиме реального времени и пакетной обработки. Обеспечение отказоустойчивости и мониторинга процессов.

Что мы предлагаем

• "Белую заработную" плату в аккредитованной ИТ-компании.
• Оформление по ТК РФ с первого дня.
• Стабильный доход.
• График 5/2 полная удаленка или гибрид на твой выбор.

Преимущества компании

• Возможность "путешествовать" по проектам разных направлений (промка, фин, телеком, агро, медицина, ретейл) в рамках 1 работодателя.
• Свой собственный институт знаний, позволяющий проходить курсы как в онлайн формате, так и в записи по различным направлениям: разработка, тестирование, аналитика, а также прокачивать soft skills.
• Ментор. Возможность как быть ментором, так и иметь собственного ментора.
• ИПР — индивидуальный план развития.
• Митап — возможность присутствовать на митапах сотрудников, а также возможность проведение собственного митапа с нашей поддержкой.
• Возможность принять участие в развитии новых направлений компании, с привлечением экспертов и научных деятелей.
• Можно стать членом команды для участия в различных активностях компании, например организация хакатонов по направлениям аналитики, разработки, тестирования, участие в различных выставках и конференциях.

Доступно соискателям с инвалидностью.