Компания больше не ищет сотрудника. Посмотрите похожие предложения
Senior Big Data Engineer
в Lamoda
Технологии/инструменты
Команда Lamoda Tech совершает цифровую революцию в fashion и e-commerce: разрабатывает ML-решения для каталога из сотен тысяч товаров, автоматизирует распределительные центры, по всему СНГ налаживает систему доставки и движение курьеров так, чтобы клиент мог получить заказ в течение выбранных 15 минут.
- 1 в e-commerce в сегментах fashion & lifestyle.
- 700 инженеров создают и развивают онлайн-платформу.
- 200+ систем разрабатываются внутри компании.
- 3,5 ПБ данных в нашем DWH и Data Lake Hadoop.
Мы ищем тех, кто с удовольствием пробует новое, не боится спросить совета у коллег и сам готов делиться опытом.
Мы в поиске Senior Big Data Engineer в направление дата-инжиниринга, который будет участвовать в разработке рекламной платформы.
Ключевая задача проекта: спроектировать и разработать дата-контур для построения трех категорий отчетов (Post-click, Post-view, Sales Lift). Для этого требуется разработать витрины и ETL их построения (как стриминг, так и батч).
Чем предстоит заниматься
- Проектировать архитектуру модели данных для realtime-хранилища рекламной платформы.
- Строить отчетность, показывающую результат и эффективность открутки рекламной кампании в realtime-режиме.
- Обеспечивать качество данных в разных системах, проектировать Data Quality.
- Разрабатывать витрины для продуктовой аналитики рекламы.
- Оптимизировать действующие пайплайны на Spark — мониторить нагрузку на кластер и оптимальность затрачиваемых ресурсов.
- Проектировать хранилища данных на основе Hadoop и ClickHouse, настраивать производительность/мониторинг — думать над тем, что и как грузить и в каких партициях.
- Решать задачи, связанные с внедрением облачной инфраструктуры.
- Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы.
- Анализировать и внедрять инструменты инжиниринга данных.
Мы ожидаем
- Опыт работы с ClickHouse.
- Опыт работы со стеком Hadoop (Yarn, HDFS, Hive).
- Опыт работы в Spark и Spark Streaming/Flink.
- Опыт в проектировании хранилищ систем Near Real Time-отчетности.
- Понимание инфраструктуры Apache Kafka.
- Владение одним из языков программирования (Java/Scala).
- Опыт работы 3-6 лет.
Будет плюсом
- Опыт сбора и обработки требований.
- Опыт работы с Docker.
Почему с нами хорошо
Заботимся
- ДМС со стоматологией и страхование жизни с первого месяца.
- Скидка на каталог Lamoda до 40%.
- Программа привилегий и скидок от BestBenefits.
- Бесплатные консультации юристов.
- Врач в офисе каждый рабочий день.
- Дополнительные выходные в случае важных событий.
- Яркие мероприятия и много неформального общения.
- Коворкинг в Санкт-Петербурге, если хочется сменить обстановку.
Развиваем
- Опытный наставник для каждого новичка.
- Обучение и участие во внешних конференциях.
- Разговорный английский клуб и онлайн-библиотека MyBook.
- Помогаем развивать личный бренд, выступать и писать статьи.
- Performance Review дважды в год, чтобы развиваться системно.
- Проводим Tech Talks и demo-дни для обмена знаниями.
- Погружаем в fashion и каждый сезон знакомим с модными трендами.
О компании Lamoda
Lamoda — крупнейшая в России и СНГ онлайн-платформа по продаже fashion & lifestyle товаров, 10 млн. пользователей в месяц, 8000 сотрудников, 340 инженеров, 100 внутренних систем.