Data Engineer

Что предстоит делать

• Разрабатывать процессы сборки, обработки и поставки данных в Hadoop на Spark.
• Развивать архитектуру проекта и адаптировать ее под новые требования.
• Собирать и анализировать требования бизнеса по получению новых данных, оценивать наличие и качество данных.
• Проводить системное, функциональное и интеграционное тестирование.
• Разрабатывать и внедрять эффективные методики контроля качества данных.
• Участвовать в Code Review и создавать инструменты для упрощения своей работы.

Ожидания

• Опыт разработки на Spark (желательно Spark/Scala).
• Знакомство с инструментами экосистемы Hadoop: Hive, Spark.
• Хорошие знания SQL, опыт оптимизации запросов.
• Общий стаж работы не менее 2-х лет.
• Высшее техническое образование.
• Проактивность в работе с внешними и внутренними контрагентами.

Будет плюсом, если вы:

• Имеете опыт работы с Kafka.
• Работали с Greenplum.
• Изучали или внедряли DevOps-практики.

Условия

• Deep Diving в предметную область, много разработки по задачам имеющим прямой эффект на бизнес.
• Возможность привносить новые идеи и нестандартные решения.
• Сообщество D-people– поддержка, развитие и возможность учиться у профессионалов.
• Достойная оплата труда.
• ДМС, сниженные ставки по кредитованию, программы лояльности для сотрудников.
• Современный офис рядом с метро Кутузовская, бесплатный фитнес в офисе.