Data Engineer (LLM)

Задачи

• Создание и поддержка ETL-процессов загрузки данных в Data Lake из IT-систем банка для применения в моделях.
• Создание и поддержка витрин-предагрегатов и витрин с аналитическими признаками (features) на основании требований хабов департамента аналитики.
• Создание и поддержка витрин для мониторинга моделей машинного обучения.
• Создание и контроль работы проверок КД для крититических элементов данных.
• Выполнение функций владельца данных по витринам Data Lake, созданных для разработчиков моделей.

Ожидаем от кандидата

• Знание принципов полнотекствого поиска.
• Знание Elasticsearch/OpenSearch.
• Уверенное владение Python (применение ООП, знание стандартных библиотек), SQL (на уровне сложных запросов).
• Опыт разработки решений на Spark (PySpark), решения задач с REST API.
• Опыт решения задач с сервисами хранения объектов HDFS/S3/MinIO.
• Владение методологией гибкой разработки, опыт работы с системами контроля версий (Bitbucket), Jira и Confluence.
• Знание основных принципов работы с контейнерами (Docker, Kubernetes).
• Опыт работы на аналогичной должности в технологическом консалтинге/банках/телеком-операторах/IT-интеграторах/крупных технологических компаниях — от 2 лет.
• Владение английским языком — читает техническую литературу без словаря.

Желательно

• Опыт разработки и поддержки автоматизированных решений по контролю качества данных.
• Опыт решения задач с Bl-инструментами (Power Bl/Tableau).
• Опыт построения pipeline потоковой real-time обработки данных (Flink/Kafka).
• Опыт решения задач с NoSQL БД (Cassandra/Redis).

Мы предлагаем взамен

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI.
• Гибридный формат работы (офис + удаленка), сезонный коворкинг в Сочи.
• Сложные и интересные задачи, современный стек технологий.
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10 дней больничного.
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни.
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий.
• Предложения от банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины.