Senior Data Engineer

Наш продукт — это система, которая призвана вместо человека автоматически оценивать имущество, которое финансовая организация принимает в залог. От качества работы этой системы будет зависеть, сколько денег организация сможет выдавать под залог определенного имущества. Эта система призвана помочь сотрудникам оказывать более быстрый и качественный сервис оценки для сотрудников бизнес-подразделений организации.

Мы строим не просто пайплайны, а интеллектуальное ядро ассистента для оценки активов.

ИИ в центре: Мы создаем систему, где ИИ сам генерирует отчеты о рыночной стоимости, подбирает аналоги и анализирует ликвидность, и многое другое.

Исследования и инновации: Много R&D. Мы исследуем данные, тестируем гипотезы по интеграции ИИ-моделей с реальными бизнес-процессами и находим нестандартные решения для сложных кейсов оценки.

Полное продуктивное вовлечение: DE не просто «труба для данных». Мы участвуем в разработке продукта от идеи до релиза: проектируем архитектуру потоков между системами, определяем критерии качества данных и влияем на логику работы ассистента.

Обязанности

• Разработка интеграций для сбора данных из открытых внешних источников для формирования базы аналогичных объектов движимого и недвижимого имущества.
• Подготовка данных для обучения моделей оценки залогового имущества.
• Создание скриптов, автоматизирующих подбор аналогов к оцениваемому объекту.
• Настройка автоматической поставки данных от пользователей и других систем организации.
• Участие в выводе моделей машинного обучения в прод.

Требования

• Знание и опыт разработки на Python.
• Опыт работы с Spark (плюсом будет также знание Pandas); опыт в разработке сложных ETL-процессов.
• Опыт работы с Airflow или любым другим оркестратором.
• Опыт работы с любой из "классических" РСУБД в качестве разработчика/администратора.
• Опыт работы с Kafka/RabbitMQ.
• Опыт работы с распределенными СУБД (MPP). Понимание особенности данных систем и умение учитывать это при разработке.
• Знание различных типов СУБД (SQL, NoSQL) и профилями использования (OLAP, OLTP) и умение аргументированно выбрать оптимальный тип СУБД под задачу.

Плюсом будет:

• Опыт работы с парсерами.
• Знание, что такое Unit-тесты.
• Готовность узнавать много нового и активно развивать навыки по обработке данных.
• Знание банковской предметной области.
• Навык деплоить приложения в Docker.
• Знание CI/CD-практик и инструментов.
• Готовность продемонстрировать один из своих проектов на GitHub.

Условия

• Возможность работать из офиса или удаленно. Главное — договориться с командой.
• Работу в структуре без строгой иерархии, где ваш руководитель — это играющий тренер.
• Работу по принципам Agile.
• Присоединиться к DE-коммьюнити в крупной технологической организации, где коллеги обмениваются опытом и помогают друг другу.
• Участие в регулярных митапах профессиональных сообществ.
• Внутреннее и внешнее обучение за счет организации.
• Участие в профессиональных конференциях в качестве спикера или слушателя. Например, мы регулярно ходим на HighLoad.
• Страховка со стоматологией, которая работает как в Москве, так и в регионах.
• Особые условия по продуктам организации, например, ипотеке, банковским картам или накопительным счетам и вклада. м.