Специализация
Data Engineering
Мы находимся в поиске Data Engineer в крупный интегратор, который предлагает своим сотрудникам работу на проектах ведущих компаний из сферы Банкинг, e-com и пр.
Технологии/инструменты
SparkHadoopHiveLinuxOLAPOLTPPostgreSQLClickHousePythonSQL
Что нужно делать
- Оказывать помощь коллегам из направления Data Science в оптимизации их действующих конвейеров (pipeline-ов).
- Разрабатывать ETL-конвейеры.
- Взаимодействовать с коллегами из команды DevOps по настройке рабочих сред, развертыванию (деплою) кода, работе с корпоративной инфраструктурой.
- Настраивать и поддерживать тестовые стенды.
- Общаться с коллегами из команды управления качеством данных (Data Quality) для уточнения деталей наполнения данных, участвовать в составлении технических заданий на обработку данных.
Требования
- Опыт работы в должности Data Engineer не менее 3-х лет.
- Опыт работы с технологиями: Spark, Hadoop, Hive, Linux.
- Опыт проектирования схем данных в базах данных, понимание концепций OLAP и OLTP.
- Опыт работы с PostgreSQL и ClickHouse.
- Опыт работы с MPP (Massively Parallel Processing) базами данных.
- Знание Python и Spark (структуры данных, алгоритмы, концепции языка).
- Знание SQL, опыт оптимизации SQL-запросов и понимание оптимизаций на уровне Spark Catalyst.
Условия
- IT-аккредитация.
- Конкурентная зарплата.
- ДМС.
- Рост и прозрачный карьерный трек.
- Развлечения и развитая корп культура.
- Оформление по ТК РФ.
- Удаленка.
Владислав Жарких Recruiter
