Data Engineer

Чем предстоит заниматься

• Полным циклом разработки всех слоев хранилища данных и отображения отчетности.
• Участвовать в составлении плана проекта, оценка проектных сроков и рисков.
• Участвовать в проектировании системы, решать сложные исследовательские задачи по реализации никем ранее не реализованного функционала.
• Развивать корпоративное хранилище и витрины данных (АС Облако данных) для развития международного бизнеса Сбербанка. Участвовать в сложных интеграционных проектах по развитию корпоративного DWH (преимущественно Hadoop, возможно, интеграции с БД Oracle и Teradata) в роли разработчика.
• Разрабатывать и проектировать потоки данных, алгоритмы загрузки и обработки данных в Hadoop с использованием Apache Spark.
• Разрабатывать и оптимизировать ETL, обеспечивать производительность и стабильность, при необходимости участвовать в анализе инцидентов.
• Организовывать оптимальный процесс разработки.
• Участвовать в приемке системы.

Требования

• Опыт работы в области Data Engineer от одного года.

Работа с данными:

• Знание SQL — простые запросы, Join`ы, агрегаты, группировки, вложенные запросы.
• Знание Python: стандартные структуры данных (Dict, List, Set, модуль Collections), Pandas, Numpy, H5py.
• Опыт работы с Hadoop (Hive, Spark, HBase) является плюсом.

Моделирование:

• Feature Engineering — методы оценки значимости и отбора признаков, методы уменьшения размерности, приемы работы с текстом.
• Model — умение различать основные классы задач (регрессия, классификация, кластеризация) и формулировать бизнес-задачу в их терминах. Знать основные методы и знать API по их использованию.
• Python — Sklearn, Numpy, Scipy, XGBoost (в порядке убывания приоритета).

Evaluation:

• Умение различать методы оценки качества модели под основные классы задач и понимать плюсы и минусы их применения (f1, Precision, Recall, Roc Auc, Mse, Rmse, Silhouette).
• Опыт работы с инструментами для организации и автоматизации работы: GridSearch, Pipeline, IDE, Git, Jira, Confluence.
• Понимание методологии Agile и DevOps.
• Владение английским языком на уровне чтения технической документации.

Условия

• Работа в команде профессионалов, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны.
• Можно работать в офисе или в смешанном графике.
• Конференции и обучение на корпоративных или вендорских курсах за наш счёт.
• Отличная ДМС, включая несчастные случаи и тяжелые заболевания.
• Льготные условия по ипотеке и кредитам.
• Материальная помощь и социальная поддержка.
• Корпоративная пенсионная программа.
• Офис в бизнес-центре Поклонка (м. Кутузовская).