Старший инженер данных

Обязанности

• Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем банка.
• Реализация комплексных задач по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения.
• Разработка и поддержание в актуальном состоянии документации по разработанному функционалу.
• Разработка контролей качества данных.
• Своевременное отражение статуса выполнения задач в Jira.
• Проверка качества кода (код-ревью), написанного инженерами и младшими инженерами данных.
• Заполнение информации по витринам данных ДПА в OpenMetadata (инструмент ДУД для процессов управления данными Data Governance).

Требования

• Python — уверенное знание структур данных и алгоритмов, эффективное применение принципов ООП и функционального программирования, опыт написания модульных и интеграционных тестов, знание и опыт применения библиотек обработки и анализа данных — NumPy, pandas.
• Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных и слабо структурированных данных (текст, XML, JSON) из внешних источников.
• Способность разобраться с API поставщиков данных, используя доступную документацию.
• SQL — умение создавать сложные запросы с использованием аналитических оконных функций и использовать инструменты профилирования для оптимизации их производительности, опыт работы с БД Oracle, PostgreSQL, Greenplum, Cassandra.
• Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов пакетной обработки данных — Airflow или Oozie.
• Опыт разработки сложных, высоконагруженных приложений обработки данных на основе Spark (Scala, PySpark), уверенное знание настроек Spark и их влияния на производительность приложений, умение профилировать приложения Spark для оптимизации производительности.
• Опыт разработки приложений и сервисов потоковой обработки данных (real-time) на основе Kafka, Flink.
• Навык ориентироваться в коде, написанном другими разработчиками.
• Продвинутые навыки работы с командной строкой в Linux.

Опционально

• Понимание процессов Data Governance и Data Quality.
• Опыт работы с BI-инструментами (Power BI, Tableau).

Условия

• Стабильная работа в одном из крупнейших банков страны.
• Сильное DS-сообщество, большое разнообразие рабочих и внерабочих активностей.
• Конкурентная заработная плата, соцпакет.
• Условия для роста и развития (в том числе конференции, тренинги, внутренние программы развития).
• Дружный коллектив единомышленников — все специалисты по ML объединены в один департамент для плотного и продуктивного обмена знаниями.
• Передовой стек технологий, высокопроизводительное оборудование.
• Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, влиять на результат и архитектуру решений.
• Квартальный бонус по результатам работы.
• ДМС, страхование жизни.
• Корпоративное обучение.