📍 Москва (м. Электрозаводская)Полная удалёнка
Специализация
Data Science
Технологии/инструменты
SQLETLPython
В департамент по управлению данными крупной логистической компании требуется ведущий разработчик хранилищ данных для построения централизованной платформы данных. Это продуктово-ориентированная команда с функциями развития новых технологических направлений, отражающих современный подход компании к данным и их дальнейшему использованию (аналитика / BI, Machine Learning).
Команда занимается развитием продуктового стека на базе решений MPP и его непрерывной интеграцией в ИТ-ландшафт компании. У нас дружный коллектив профессионалов в области управления и обработки данных.
Задачи
- Создание хранилища данных и Data Lake одного из крупнейших логистических операторов России.
- Разработка алгоритмов преобразования и анализа данных с использованием MPP СУБД Vertica, Apache Airflow и инструментов экосистемы Hadoop для обработки больших данных.
- Проведение предпроектных обследований (определение объема работ, продолжительности работ, ресурсов для их выполнения).
- Самостоятельная разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в аналитическую БД и Hadoop.
- Оценка кода и предложение по улучшению архитектуры и используемых инструментов в рамках стратегии развития платформы данных.
- Оптимизация и настройка производительности ETL-процессов.
- Документирование разработанного кода.
Ожидания
- Уверенные знания SQL и принципов работы реляционных БД.
- Опыт оптимизации производительности запросов.
- Опыт работы с промышленными ETL.
- Опыт корпоративной разработки на Python.
Будет плюсом:
- Знакомство с архитектурой MPP баз данных, в том числе с колоночным хранением (Vertica, Greenplum).
- Знакомство с Apache Airflow.
- Знакомство с экосистемой Hadoop (HDFS, Hive, Spark).
Мы предлагаем
- Возможность работать удаленно.
- Интересные задачи и опытную команду.
- Комфортные и стабильные условия для работы.
- Возможности для профессионального роста.
- Рабочий график 9:30 — 18:00 (может смещаться); в пятницу до 16:00.
- Оформление по ТК РФ. Оклад белый.
- Также есть офис: г. Москва, ул. Электрозаводская (7 мин от метро Преображенская площадь или 15 мин от метро Электрозаводская). Есть парковка.
Алена Краско Менеджер по подбору персонала
