Data Engineer (Apache NiFi)

Обязанности

• Поддержание и развитие системы сбора данных из различных источников, обработка и хранение полученных данных для обеспечения бесперебойной работы отдела антифрода.
• Анализ и разработка моделей представления данных для специалистов отдела.
• Поддержание полученных данных в актуальном состоянии, разработка методов контроля целостности и полноты получаемой информации.

Требования

• Опыт работы от 3 лет в областях, связанных с хранением и обработкой данных.
• Опыт построения запросов на языке SQL.
• Опыт работы с Apache NiFi, как на отдельном сервере, так и в кластере.
• Опыт работы с системой Docker.
• Опыт обработки данных с помощью языков программирования, желательно Python.
• Опыт работы с ETL-технологиями (технологии преобразования "сырых" данных в формат, пригодный для их использования).
• Знание основ работы с серверными вариантами Linux и опыт работы в командной строке Linux (желательно Debian, Ubuntu).
• Базовое образование, связанное с информационными технологиями или радиоэлектроникой.
• Общая эрудиция в области построения компьютерных систем и сетевых и технологий.