Data Engineer

О нашей команде

• 8 лет на рынке, команда: 300+ человек.
• Основной стек технологий: Luxms BI, Fine BI, Pix, Visiology, SuperSet, Qlik, Microsoft, Hadoop, PostgreSQL, GreenPlum, Arenadata, Informatica, Teradata, Oracle и др.
• Наши заказчики: 100+ («Лента», «РЖД, «Газпром нефть», «Загорский трубный завод», «Самокат», ВТБ, Газпромбанк, Leroy Merlin, Danone, DPD, Melon Fashion Group, Pernod Ricard, Maxxium, Takeda, Efes Rus, и др.).
• Количество реализованных проектов: 80+.
• Выручка за FY23: 1+ МЛРД руб. (с опережением бизнес-плана на 1 год).
• Количество партнеров: 20+.
• Офисы: СПб, МСК, Ярославль, Минск.

О проекте

• Для иностранной ритейл-компании мы разрабатываем облачные хранилища данных и аналитические решения на облачных платформах, помогаем нашему заказчику изменять бизнес-процессы путем использования аналитики. Сейчас мигрируем все проекты на Yandex.Cloud.

Основные задачи

• Формировать потоки данных от источников до конечных витрин.
• Обработка потоковых данных на Spark Streaming.
• Формировать комплексные системы интеграции витрин данных Hadoop с использованием PySpark + AirFlow.
• Разрабатывать и оптимизировать ETL-процессы.
• Миграция существующих витрин с DataBricks на Yandex.Cloud.

В работе поможет

• Опыт разработки на Python от 2-х лет.
• Опыт разработки приложений с использованием инструментария экосистемы Hadoop (Spark Streaming, Spark SQL, Kafka, Hive и т.д.) от 2-х лет.
• Опыт работы с любым ETL-инструментом от 2 года (Airflow в приоритете).
• Опыт написания запросов для анализа и преобразования данных (на любой реляционной СУБД).

Будет плюсом:

• Опыт работы с облачными платформами (Yandex.Cloud, MS Azure, AWS).

Условия

• Заработная плата: состоит из оклада и бонуса за выполнение проекта. Знаем рынок, готовы обсуждать оклад индивидуально по итогам тех. собеседования. Оформляем официально в штат компании.
• Гибкое начало рабочего дня — не смотрим на отработанные часы, смотрим на результат.
• Удаленный формат работы или гибридный график по желанию (удаленка/офис в Москве, Санкт-Петербурге или Ярославле).
• Индивидуальный план развития: подбираем задачи для роста экспертизы, выделяем бюджет на обучение, предоставляем курсы и программы обучения (в т.ч. английскому языку), предоставляем обратную связь, регулярно обсуждаем развитие.
• Полис ДМС, корпоративные тарифы на фитнес и др.
• Открытая корпоративная культура: каждый может предложить идею и получить возможности для ее реализации, мы помогаем друг другу, часто и весело проводим корпоративы.
• Минимум бюрократии и отчётов, а совещания только по необходимости и с чёткой программой.

Приходи к нам в команду, будем вместе создавать крутые и полезные вещи!