Senior Data Engineer

Юзтех — группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, Big Data, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнёром таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, Go Invest, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет Девелопмент, Х5 Group, Газпромнефть, Лемана Про, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные IT-продукты (Usebus, Octopus, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Сфера

Банковская отрасль. Миграция.

Задачи

• Анализ существующих решений и витрин данных.
• Миграция витрин данных со стека Hadoop (Hive, Oozie, Spark 2.4, Impala) на стек Apache Iceberg + Spark 3.5 + Apache Airflow.
• Реализация недостающих реплик для витрин данных с источников с использованием готовых кодогенераторов.
• Переработка существующих решений на целевом стеке, в отдельных случаях — разработка решений с нуля по шаблонам.
• Построение и развитие витрин данных, участие в их тестировании и валидации.
• Наполнение и актуализация технической документации по разработанным решениям.
• Взаимодействие с командами разработки и аналитики в рамках проработки и внедрения решений.

Мы ожидаем

• Уверенные знания SQL и Python.
• Опыт работы с Apache Spark.
• Практический опыт работы с хранилищами данных на базе Hadoop/S3/S3-compatible storage.
• Обязательное знание и опыт работы с Apache Iceberg (таблицы, версии, schema evolution, partitioning).
• Опыт использования Apache Airflow для оркестрации и управления пайплайнами.
• Понимание форматов хранения данных, в том числе Parquet.
• Опыт работы с инструментами командной разработки: Git, CI/CD, трекерами задач и документацией (Jira, Confluence или аналоги).
• Навыки работы с форматами данных JSON, XML.
• Опыт системного анализа и тестирования data-решений.
• Базовое понимание работы реляционных СУБД.
• Базовые знания Kafka и принципов потоковой передачи данных.

Мы предлагаем

• Работу в компании, которая много лет входит в топы самых престижных рейтингов.
• Трудоустройство — официальное по ТК РФ и в штат компании.
• Гибкое утро (с 8 до 12 утра по Москве), рабочий график 5/2, полная удалёнка, гибридный формат или работа из офиса по вашему выбору.
• Полис медицинского страхования (ДМС + стоматология для сотрудников, скидки на страхование для членов семьи).
• Подарки, скидки и сертификаты для детей сотрудников.
• Оплата обучения и сертификаций.
• Регулярные внутренние семинары под эгидой Корпоративного Университета, посвящённые новым технологиям и самым актуальным темам в области аналитики, разработки, тестирования, управления.
• Usetech English Club — обучение английскому с корпоративными скидками, разговорный клуб.