Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
Кошелёк

Lead Data Engineer

в Кошелёк

350 000 —‍ 450 000 ₽/мес на руки

МоскваСанкт-ПетербургRemote
iconСанкт-Петербург, Россия
Специализация
Data Science / Machine Learning
Уровень
Lead
Английский
B1 — IntermediateB1 — Intermediate
Команда
6 - 10 человек

Кошелёк — мобильное приложение, которое заменяет физический бумажник с пластиковыми картами.

Наша миссия — сделать покупки удобнее и выгоднее для пользователей и избавить мир от пластиковых карт. Вы можете перенести существующие банковские и дисконтные карты в приложение «Кошелёк», а также выпустить новые карты из каталога приложения.

В приложении уже зарегистрировано 20 миллионов пользователей. В нашей команде более 250 сотрудников, большая часть команды работает в главном офисе в Петербурге.

В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами.

Технологии/инструменты

JavaPythonETL

Всего у команды инженеров данных в нашей компании есть три направления работы

1. Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.

  • Сейчас у нас используются MS SQL и ClickHouse.
  • Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных.
  • До конца года мы хотим совсем отказаться от MS SQL и разгрузить ClickHouse от нетипичных для него задач. Для этого мы поднимаем Greenplum.
  • Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink'ом.
  • Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало, и улучшать.

2. ETL / ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное.

  • Для этого используются Airflow и Flink.

3. Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.

Ожидания

  • Опыт поддержки инфраструктуры данных (DevOps, аналитические базы данных, ETL-инструменты, BI-инструменты).
  • Опыт коммерческой разработки (предпочтительно Python и Java).
  • Опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка).
  • Понимание принципов работы Big Data-стека.
  • Опыт работы с терабайтами данных.
  • Умение работать с аналитиками (запросы на витрины данных и автоматизацию).

Будет плюсом:

  • Опыт администрирования и работы с Greenplum и ClickHouse.
  • Опыт с Airflow, Flink и Minio.

Мы предлагаем

  • Участие в развитии полезного и популярного приложения (14 млн MAU).
  • Работу с сильной инженерной командой.
  • Оформление по ТК РФ, ДМС с первого дня работы.
  • Гибкий график работы, возможна полностью удалённая работа.
  • Оплату профильных курсов и конференций.
  • Спорт четыре раза в неделю в офисе — йога и силовые тренировки.
  • Командные мероприятия.
  • Комфортный офис в центре города (5 минут от станции метро Чкаловская).
София Миланич Talent Sourcer HR
Кошелёк

О компании Кошелёк

Сфера
Продуктовая компания
Размер
201 - 500

Кошелёк — приложение, которое заменяет бумажник с пластиковыми картами и помогает делать покупки удобнее и выгоднее. У Кошелька есть глобальная миссия — избавить мир от пластиковых карт. Больше 13 миллионов человек уже используют мобильные карты в приложении. Каждый день количество пользователей увеличивается благодаря их команде. В ней работает больше 250 человек, половина из которых — техническая команда.

Похожие вакансии

12 000 – 18 000 $/мес на руки
Переезд (США, Великобритания, Германия) или полная удаленка — на выбор
350 000 – 400 000 ₽/мес на руки
полная удаленка
6 000 – 9 000 $/мес на руки
Переезд (Великобритания, Германия) или полная удаленка — на выбор
6 000 – 8 000 $/мес на руки
Переезд (Великобритания, Германия) или полная удаленка — на выбор
6 000 – 7 300 €/мес на руки
Переезд (Лимасол, Кипр) или полная удаленка — на выбор