Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
Flocktory

Data Engineer

в Flocktory

200 000 —‍ 400 000 ₽/мес на руки

МоскваRemote
iconМосква, м. Тверская, Россия
Специализация
Java / Scala
Уровень
Middle
Команда
51 - 100 человек

Flocktory (Qiwi Group) — IT-компания, резидент Сколково, один из лидеров рынка Marketing Technologies, самый быстрорастущий актив Qiwi group.

Продукты: SaaS-платформа для маркетинга (MarTech); Data-продукты (AdTech).

Клиенты:

  • 200+ крупных E-Commerce/ритейлеров, банков, страховых компаний (Детский мир, М.Видео, АльфаБанк, Газпромбанк, S7, Билайн, МТС, Мегафон, L'Oreal и др.).
  • 30+ FMCG-компаний, брендов (Mars, Coca-Cola etc.).

BigData: Благодаря интеграции нашей платформы с сайтами таких крупных игроков мы можем видеть больше 35% всех транзакций Рунета и данные о покупках и поведении более 100 миллионов человек.

Ценность наших продуктов: Мы помогаем E-Commerce и брендам:

  • На основе предиктивной аналитики делать коммуникацию с покупателями максимально персонализированной.
  • И благодаря этому увеличивать лояльность покупателей, конверсию и средний чек.

Оборот: 700 млн. рублей в год (наша выручка стабильно растет на 40% от года к году)

Награды: Только за последние несколько лет мы стали:

  • Победителем в номинации «Innovation Award for email marketing» премии Mar Tech Star.
  • Победителем в номинации «Автоматизация маркетинга» и «Лояльность и Конверсия» крупнейшей отраслевой премии «Большой Оборот.
  • Лауреатом премии Adindex Awards в номинации Direct Marketing и CRM, входит в число лидеров профессионального рейтинга Digital Index 2017.
  • Одним из первых участников проекта AI Russia — открытой библиотеки проектов, созданных с использованием искусственного интеллекта (проект Альянса по развитию искусственного интеллекта, в который входят Mail.ru Group, МТС, «Яндекс», Сбер, «Газпром нефть», РФПИ).

Технологии/инструменты

SQLApacheScalaPythonAWS/GCE/Azure

Почему Flocktory

  • Работаем в окружении талантливых людей, которые вдохновляют и мотивируют нас расти.
  • Создаем SaaS решения, рынок которых активно растет, особенно последние два года.
  • Много экспериментируем и создаем продукты, часть из которых не имеет аналогов в России.
  • Активно развиваемся уже 9 лет, нас больше 100 человек, но у нас до сих пор сохраняется дух стартапа.
  • Используем data-driven подход и опираемся в решениях на цифры и результаты тестирования гипотез.
  • Решаем сложные и нетривиальные задачи, которые задействуют весь наш потенциал и дают возможность проявить себя.
  • Пользуемся высоким уровнем персональной свободы, сами планируем задачи и способы их достижения.
  • Если приносим пользу компании, траектория нашего развития может быть любой.

Что и как мы делаем

Аналитическое хранилище для BI, Data Science и бизнес-подразделений:

  • Прорабатываем модель этих данных и решаем, как и где они будут храниться. Разные продукты = разные профили нагрузки; разные профили нагрузки = разные БД. Что Postgres-у хорошо, то для Redis-а смерть, и наоборот. Поэтому мы используем микс MPP-баз, традиционных RDBMS, Kafka, NoSQL и распределенных файловых систем.
  • Делаем data-self service. Чтобы полезно работать с данными, аналитически настроенные подразделения умеют в SQL и Python, а менее технические пользователи хотят красивые однокнопочные инструменты и chatops.
  • Автоматизируем работу с метаданными. Это чтобы аналитики всегда знали, какую схему имеет таблица X, что в ней означает столбец Y и для каких запросов оптимизирована таблица Z. Работа с Hive metastore, Glue, Apache Atlas и т. п. — это всё здесь.

ETL- и аналитические процессы:

  • Пакетные Spark-джобы на Scala.
  • Стриминговые Flink-джобы — опять-таки на Scala.
  • Пайплайны на Airflow.
  • Кластер Kafka connect.

В общем, то, что называется “data-intensive” приложения, и порою довольно-таки за рамками простого filter + save. Иногда ещё и в реальном времени.

Качество данных:

Вот как мы заботимся о качестве данных:

  • Поднимаем на новые высоты автоматизированную и развесистую data quality систему на базе Airflow.
  • Даём нетехническим пользователям интерактивные дашборды, где хорошо видно, всё ли в порядке с данными.
  • Развиваем систему мониторинга и алертинга, постигая некоторые неочевидные тонкости Prometheus, Grafana и Cloudwatch.

Производительность ETL и аналитики:

Увлеченно воюем с проблемами вроде таких:

  • Почему в стриминговой джобе без состояния столь неприлично долгие full GC-паузы.
  • Затюнить использование off-heap памяти в Flink и при этом не сойти с ума.
  • Оптимизировать вон тот запрос из 5 джойнов, который стал в последнее время подлагивать.

Команда

Мы верим, что построение внятных архитектуры и программного дизайна — это общее дело, поэтому поощряем самостоятельные осознанные решения. Вы считаете, что именно этот сервис именно сейчас нужно наглухо зарефакторить? Приносите ваши доводы — будем обсуждать, договариваться, делать.

В то же время мы понимаем: невозможно знать всё, и чтобы разгрузить продуктовые команды от излишних технологических деталей, у нас есть платформенные команды. Это значит, что не придётся разбираться, как монтировать диски к Kafka-брокеру или как организовать stateful set в K8S (но если всё же захотите разобраться — вам помогут, только спросите).

Структуру продуктовых команд мы в своё время сформировали так, чтобы они могли 99% проблем решать автономно. В каждой такой команде есть бэкендеры, фронтендер, продуктовый аналитик и, конечно же, продакт. При необходимости, в составе также есть дата-инженеры и дата-саентисты. Команда сама настраивает свои процессы планирования, разработки и рефлексии.

Кого ищем

Человека, которого описание работы выше не оттолкнуло, а наоборот. Не знаете чего-то из этого? Не проблема, мы тоже много чего не знаем, будем разбираться вместе. Особенно легко будет разобраться, если вы:

  • Работали с одним из open-source планировщиков: Apache Airflow, Apache Oozie, Luigi, да хоть cron.
  • Умеете писать SQL-запросы с агрегацией, вложенностью и разными видами join-ов (а аналитические функции мы и сами каждый раз пишем со словарём).
  • Писали / пишете на Scala (опыт type class-эквилибристики не обязателен).
  • Знаете или готовы изучить Python.
  • Работали с Apache Spark (batch / streaming / structured streaming) и / или Apache Flink.
  • Запускали сервисы в AWS / GCE / Azure.

Преимущества позиции

  • Современный стек технологий.
  • Сильная команда инженеров.
  • Сложные нетривиальные задачи.
  • Хорошо выстроенные процессы.
  • Внешнее обучение и участие в конференциях.
  • Возможность менять продукты и процессы.
  • Ошибки — возможность улучшить процессы.
  • Удаленка и гибкое планирование рабочего дня.

А еще:

  • Годовой бюджет на внешнее обучение каждого сотрудника.
  • Доступ к обучающей платформе Qiwi с онлайн курсами по развитию hard и soft skills.
  • Доступ к корпоративным библиотекам МИФ, Альпина и Smart reading.
  • Скидки на обучение английскому от Skyeng.
  • Тренинги с внутренними и внешними экспертами.
  • Участие в конференциях, подготовка к выступлениям.
  • Онбординг с ментором от одного месяца до года, в зависимости от команды.
Юлия Соляева Recruiter
Flocktory

О компании Flocktory

Сфера
Продуктовая компания
Инвестиции
$1.7M
Размер
51 - 100

Flocktory — маркетинговая Saas-платформа, которая позволяет привлекать новых клиентов, увеличивать конверсию, работать с лояльностью покупателей и другими целями. В число более чем 800 клиентов Flocktory входят крупнейшие интернет-магазины рунета, банки, ведущие онлайн-издания, транспортные компании и т.д.

Похожие вакансии

380 000 – 450 000 ₽/мес на руки
Москва, Санкт-Петербург или полная удаленка — на выбор
6 000 – 9 000 $/мес на руки
Переезд (Великобритания, Германия) или полная удаленка — на выбор
350 000 – 450 000 ₽/мес на руки
Москва, Санкт-Петербург или полная удаленка — на выбор
350 000 – 400 000 ₽/мес на руки
полная удаленка
300 000 – 500 000 ₽/мес на руки
Москва (м. Кутузовская) или полная удаленка — на выбор