Data Engineer

Обязанности

• Создавать и улучшать процессы обработки данных.
• Проводить анализ исходных данных и их форматов в СУБД для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных).
• Самостоятельно извлекать, очищать, загружать и трансформировать большие объемы данных из различных источников (Green plum, Orаcle, Hadoop, плоские файлы) в рабочую область (Hadoop) в real-time, а также готовить требования для разработки промышленных ETL-процессов (CTL).
• Создавать витрины данных (pySpark, sacala).
• Создавать пайплайны поставки данных.
• Разрабатывать схемы подключения новых источников данных.
• Принимать участие в архитектурных решениях.
• Разрабатывать процедуры формирования детального слоя данных и слоя витрин данных.
• Контролировать качество загружаемых данных, разрабатывать автоматизированные инструменты для оценки качества данных.
• Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus).

Требования

• Знания принципов работы БД, построения хранилищ данных.
• Опыт разработки ETL процессов.
• Опыт работы с системами контроля версий (Git).
• Опыт работы с высоконагруженными распределенными системами хранения и обработки данных.
• Java/ Scala.
• Отличное знание SQL, PL/SQL, опыт оптимизации запросов.
• Желание обучаться и развиваться.

Условия

• Оформление по ТК РФ.
• Социальный пакет (ДМС).
• Возможность посещения конференций, обучения и сертификации за счет компании (в т.ч. английский язык).
• Программа льготного кредитования в Сбербанке.
• Дисконт-программы от компаний партнеров.
• Возможность принять участие в других крупных и уникальных проектах банка.