Специализация
Data Engineering / Python
Технологии/инструменты
PythonAirflowETL
Наш продукт Collateral Machine — система, которая призвана вместо человека автоматически оценивать имущество, которое банку передают в залог. От качества работы этой системы будет зависеть сколько денег банк сможет выдавать под залог определенного имущества. Система призвана помочь сотрудникам оказывать более быстрый и качественный сервис оценки для сотрудников бизнес-подразделений банка.
Стек продукта
- DE: SQL, Hadoop, PySpark, Airflow, Power BI, DQ Soda.
- Web Scraping: Python, Scrapy, Playwright.
- Backend: Python, Asyncio, FastAPI, SQLAlchemy, S3, Alembic, ArtemisMQ, pandas, pytest, Kubernetes Usage.
DE в команде
- Разрабатывает интеграции для сбора данных из открытых внешних источников для формирования базы аналогичных объектов движимого и недвижимого имущества.
- Подготавливает данные для обучения моделей оценки залогового имущества.
- Создает скрипты, автоматизирующие подбор аналогов к оцениваемому объекту.
- Настраивает автоматические поставки данных от пользователей и других систем банка.
- Участвует в выводе моделей машинного обучения в прод.
Он обладает
- Опытом разработки на Python.
- Опытом в разработке сложных ETL-процессов, видением путей автоматизации данных процессов.
- Опытом работы с Airflow или любым другим оркестратором.
- Опытом работы с любой из "классических" РСУБД в качестве разработчика/администратора.
- Опытом работы с распределенными СУБД (MPP), пониманием особенности данных систем и учитывает это при разработке.
Дополнительно
- Имеет опыт работы с парсерами.
- Знает, что такое Unit-тесты.
- Может ставить задачи, планировать работу, общаться с заказчиками, быть наставником для менее опытных коллег.
- Готов узнавать много нового и активно развивать навыки по обработке данных.
Идеально, если DE
- Знаком с банковской предметной областью.
- Может деплоить приложения в Docker.
- Разбирается в CI/CD-практиках и инструментах.
- Может продемонстрировать один из своих проектов на GitHub.
- Знаком с различными типами СУБД (SQL, NoSQL) и профилями использования (OLAP, OLTP) и может аргументированно выбрать оптимальный тип СУБД под задачу.
Бенефиты для сотрудников
- Возможность работать из офиса или удаленно. Главное — договориться с командой.
- Работа в структуре без строгой иерархии, где ваш руководитель — это играющий тренер.
- Работа по принципам Agile.
- Присоединиться к DE-коммьюнити в банке, где коллеги обмениваются опытом и помогают друг другу.
- Участие в регулярных митапах профессиональных сообществ.
- Внутреннее и внешнее обучение за счет банка.
- Участие в профессиональных конференциях в качестве спикера или слушателя. Например, мы регулярно ходим на HighLoad.
- Страховка со стоматологией, которая работает как в Москве, так и в регионах.
- Особые условия по нашим продуктам, например, ипотеке, банковским картам или накопительным счетам и вкладам.
- Еще десятки льгот и бонусов для сотрудников.