Data Engineer (SBI)

Чем предстоит заниматься

• Полным циклом разработки всех слоев хранилища данных и отображения отчетности.
• Участвовать в составлении плана проекта, оценке проектных сроков и рисков.
• Участвовать в проектировании системы, решать сложные исследовательские задачи по реализации никем ранее не реализованного функционала.
• Развивать корпоративное хранилище и витрины данных (АС Облако данных) для развития международного бизнеса Сбербанка. Участвовать в сложных интеграционных проектах по развитию корпоративного DWH (преимущественно Hadoop, возможно, интеграции с БД Oracle и Teradata) в роли разработчика.
• Разрабатывать и проектировать потоки данных, алгоритмы загрузки и обработки данных в Hadoop с использованием Apache Spark.
• Разрабатывать и оптимизировать ETL, обеспечивать производительность и стабильность, при необходимости участвовать в анализе инцидентов.
• Организовывать оптимальный процесс разработки.
• Участвовать в приемке системы.

Мы ожидаем

• Опыт работы в области Data Engineer от одного года.

Работа с данными:

• Знание SQL — простые запросы, Join`ы, агрегаты, группировки, вложенные запросы.
• Знание Python: стандартные структуры данных (dict, list, set, модуль collections), Pandas, Numpy, h5py.
• Опыт работы с Hadoop (Hive, Spark, HBase) является плюсом.

Моделирование:

• Feature Engineering: методы оценки значимости и отбора признаков, методы уменьшения размерности, приемы работы с текстом.
• Model: умение различать основные классы задач (регрессия, классификация, кластеризация) и формулировать бизнес-задачу в их терминах. Знать основные методы и знать API по их использованию.
• Python Scikit-learn, Numpy, SciPy, XGBoost (в порядке убывания приоритета).

Evaluation:

• Умение различать методы оценки качества модели под основные классы задач и понимать плюсы и минусы их применения (F1, Precision, Recall, ROC, AUC, MSE, RMSE, Silhouette).
• Опыт работы с инструментами для организации и автоматизации работы: GridSearch, Pipeline, IDE, Git, Jira, Confluence.
• Понимание методологии Agile и DevOps.
• Владение английским языком на уровне чтения технической документации.

Условия

• Работа в команде профессионалов, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны.
• Можно работать в офисе или в смешанном графике.
• Конференции и обучение на корпоративных или вендорских курсах за наш счёт.
• Отличная ДМС, включая несчастные случаи и тяжелые заболевания.
• Льготные условия по ипотеке и кредитам.
• Материальная помощь и социальная поддержка.
• Корпоративная пенсионная программа.
• Гибридный формат работы с посещением офиса в Москве. Офис находится в бизнес-центре Поклонка (м. Кутузовская).