📍 Москва (м. Кутузовская)Офис или гибрид
Специализация
Data Engineering
Технологии/инструменты
Spark/ScalaHadoopHiveSQL
Мы ищем Data Engineer уровня Middle для реализации амбициозного проекта перехода на новую платформу кампейнига Сбера.
Наша задача — обеспечить перевод Legacy процессов на современный стек технологий, разработать решения по обработке и доставке данных, создать с 0 процессы загрузки потоков данных для задач аналитики и развить MLOps практику в команде для вывода DS моделей в пром.
Что предстоит делать
- Разрабатывать процессы сборки, обработки и поставки данных в Hadoop на Spark.
- Развивать архитектуру проекта и адаптировать ее под новые требования.
- Собирать и анализировать требования бизнеса по получению новых данных, оценивать наличие и качество данных.
- Проводить системное, функциональное и интеграционное тестирование.
- Разрабатывать и внедрять эффективные методики контроля качества данных.
- Участвовать в Code Review и создавать инструменты для упрощения своей работы.
Ожидания
- Опыт разработки на Spark (желательно Spark/Scala).
- Знакомство с инструментами экосистемы Hadoop: Hive, Spark.
- Хорошие знания SQL, опыт оптимизации запросов.
- Общий стаж работы не менее 2-х лет.
- Высшее техническое образование.
- Проактивность в работе с внешними и внутренними контрагентами.
Будет плюсом, если вы:
- Имеете опыт работы с Kafka.
- Работали с Greenplum.
- Изучали или внедряли DevOps-практики.
Условия
- Deep Diving в предметную область, много разработки по задачам имеющим прямой эффект на бизнес.
- Возможность привносить новые идеи и нестандартные решения.
- Сообщество D-people– поддержка, развитие и возможность учиться у профессионалов.
- Достойная оплата труда.
- ДМС, сниженные ставки по кредитованию, программы лояльности для сотрудников.
- Современный офис рядом с метро Кутузовская, бесплатный фитнес в офисе.
