Data Engineer (Корпоративный портал)

Чем предстоит заниматься

• Поддерживать существующие и создавать новые интеграции источников данных (RDBMS, API, SFTP) в банковский Data Lake (Hadoop, Hive) и общебанковское аналитическое хранилище (на базе Greenplum).
• Поддерживать существующие и создавать новые ETL-пайплайны обогащения и преобразования данных (Python, PySpark, Airflow).
• Создавать витрины данных для всей команды и настраивать регламентную загрузку данных в витрины.
• В перспективе — участвовать в построении, поддержке и мониторинге моделей предиктивной аналитики.
• Развивать data-практики в команде и делиться своей экспертизой с коллегами.

Наши ожидания

• Не менее 2-3 лет опыта работы в области создания/обогащения витрин данных.
• Опыт работы с Big Data экосистемой (Hadoop, Hive, PySpark).
• Уверенное владение SQL (join’ы, агрегатные функции, подзапросы и оконные функции).
• Хорошее владение Python (стандартные библиотеки + Pandas, Jinja, psycopg2 и т. п.) и Git, знание, что такое unit-тесты.
• Знание различных типов СУБД (RDBMS: PostgreSQL, MS SQL; NoSQL) и профилей использования (OLAP, OLTP), способность аргументированно выбрать оптимальный тип СУБД под задачу.
• Опыт в разработке сложных ETL/ELT-процессов.
• Умение работать с AirFlow или любым другим оркестратором.
• Способность писать прозрачный и читабельный код.
• Готовность учиться и активно развивать свои навыки.

Будет плюсом:

• Опыт с CI/CD практиками и инструментами.
• Опыт построения процессов Data Quality.

Мы предлагаем

• Работу в сплоченном IT-сообществе, где коллеги становятся настоящими друзьями.
• Возможность влиять на конечный результат и глубоко погружаться в бизнес-логику продуктов, следуя принципам Agile.
• Профессиональное обучение, участие в конференциях.
• Возможность проявить себя в качестве спикера или активного участника мероприятий на нашей площадке.
• ДМС со стоматологией, страхование от НС и выезжающих за границу, страхование от онкологических заболеваний.
• Доплату до оклада за 14 дней в году по больничному листу.
• Доплату к отпуску в январе и мае.
• Три оплачиваемых отгула в год.
• Скидки от компаний-партнеров и специальные предложения по банковским продуктам.
• Еще десятки льгот и бонусов для сотрудников.
• Есть возможность работать в офисах в Москве, Питере, Омске, Ярославле.