Data Engineer

Почему рекомендуем

• Европейская корпоративная культура, уверенные позиции на рынке, поощрение инициатив сотрудников и полная прозрачность.
• Возможность влиять на конечный результат и понимать бизнес-логику продуктов.

Чем предстоит заниматься

• Витрины данных - развитие и поддержка (data lake на hadoop, реляционные БД).
• Добавить новые метрики (разово для проверки гипотезы и регламентно).
• Создать новые витрины (разово и регламентно). Витрины данных в data lake и реляционных базах.
• Подключение новых источников данных в data lake.
• ML-модели.
• Поддержка регламентных процессов отработки моделей.
• Постановка моделей на регламент.
• Построение простейших моделей.
• Автоматизация crm кампаний.
• Постановка кампаний на регламент.
• Автоматическая загрузка вводных параметров кампаний.
• Парсинг внешних данных.

Ожидания

• Работаешь с SQL на уровне написания сложных запросов: знаешь, что такое оконные функции, функции ранжирования, CTE.
• Знаком с различными типами СУБД (SQL, NoSQL) и профилями использования (OLAP, OLTP) и можешь аргументированно выбрать оптимальный тип СУБД под задачу.
• Имеешь опыт работы с Airflow или любым другим оркестратором.
• Понимаешь, как выводить ML-модели в продуктив.
• Пишешь код на Python, пользуешься GIT, знаешь, что такое Unit тесты.
• Используешь Hadoop, знаешь, как работает YARN, как эффективно хранить данные на HDFS, пишешь запросы в Hive.
• Пишешь прозрачный читающийся код, разделяешь его на классы, применяешь паттерны.
• Как плюс: пишешь код на Spark и можешь считать данные сервиса, используя его API, отсортировать, отфильтровать их и сохранить результат на HDFS.
• Как плюс: имеешь опыт с Kafka или другим message broker'ом и знаешь основные концепции потоковой обработки данных.
• ВАЖНО: опыт работы минимум 2-3 года в создании/обогащении витрин данных. Иными словами, хороший sql – критично.

Будет плюсом:

• Знаешь банковскую предметную область.
• Имеешь опыт разработки/внедрения систем класса DWH.
• Разбираешься в CI/CD практиках и инструментах.
• Можешь продемонстрировать один из своих проектов на GitHub.

Что предлагают

• Свобода в выборе инструментов для решения задач.
• Регулярное посещение тренингов, митапов и конференций (в том числе как спикер) за наш счет.
• Командная работу и поддержка.
• Гибкий график.
• Возможность удалённой работы.
• Отличный социальный пакет (ДМС, скидки на корпоративные продукты, спортзал в здании).
• Отсутствие формализма и позитивный настрой.