Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Разработчик Big Data (Витрины РБ)

в Иннотех

≈ 200 000 —‍ 400 000 ₽/мес на руки

📍 Москва (м. Деловой центр)Можно удалённо из РФ

Специализация

Data Science / Machine Learning

Уровень

Middle

Команда

6 - 10 человек

Группа компаний «Иннотех» оказывает полный спектр услуг по разработке ПО для цифровизации банковской отрасли и увеличения операционной эффективности бизнеса благодаря использованию передовых технологий.

Команда занимается подготовкой и сборкой витрин для розничного кредитного конвейера. РКК — это комплексное решение для автоматизации бизнес-процессов потребительского, ипотечного и автокредитования физических лиц. В решении осуществляется автоматическая первичная верификации заявки, проверка заемщика и других, связанных с ним лиц, расчёт суммы кредита/лимита. Вы получаете возможность поработать с интересной и динамичной предметной областью, получить опыт работы с настоящими большими данными, ощутить в полной мере драйв командной работы.

В качестве источника у нас выступает Хранилище данных в составе кластера Hadoop от Cloudera; приемником — Хранилище быстрых витрин, реализованное на базе СУБД Oracle. Интеграция между источником и приемником реализована посредством Spark через JDBC.

Технологии/инструменты

PythonCloudera HadoopOracleSparkAirFlowData Lake/DWH

Чем предстоит заниматься

Разработка на Spark и Airflow (DAG AirFlow, в нем таски, которые вызывают pyspark код). Задачи есть по трем направлениям.
Развитие (расширение атрибутивного состава, количества витрин, пересборка алгоритмов).
3-я линия поддержки — разбор аварий и инцидентов на проме, которые не в состоянии решить 1 и 2 линия, саппорт внедрений.
Инженерные задачи — переезд на другие кластера, сайзинг, оптимизация кода.

Кого ищем

Опыт промышленной разработки на Рython от 2-х лет.
Опыт работы с СУБД — Cloudera Hadoop, Oracle.
Уверенное знание Spark и Airflow.
Понимание принципов организации Data Lake/DWH.

Что предлагаем

Работа в удобном формате: удаленный/гибридный/в офисе (современном и комфортном).
Конкурентная заработная плата (зависит от квалификации, обсуждается по итогам интервью).
Работа в команде профессионалов с передовым технологическим стеком, включая open source.
Пакет льгот от наших партнеров: ДМС (со стоматологией и массажем), зарплатный проект ВТБ, льготное кредитование и страхование (для сотрудника и родственников).
Помощь при переезде.
Необходимая техника для успешной работы: дополнительные мониторы, мощное железо, компенсация расходов на мобильную связь.
Интересные задачи для твоей самореализации, профессионального роста и совершенствования навыков.
Искренняя забота о сотрудниках: обучение английскому языку и soft-skills; абонементы в фитнес-клубы; скидки на сессии с психологом; оплата профессиональных курсов и конференций.