Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Lead Data Engineer

в Кошелёк

350 000 —‍ 450 000 ₽/мес на руки

📍 Санкт-ПетербургМоскваПолная удалёнка

Специализация

Data Science / Machine Learning

Уровень

Lead

Английский

B1 — IntermediateB1 — Intermediate

Команда

6 - 10 человек

Кошелёк — мобильное приложение, которое заменяет физический бумажник с пластиковыми картами.

Наша миссия — сделать покупки удобнее и выгоднее для пользователей и избавить мир от пластиковых карт. Вы можете перенести существующие банковские и дисконтные карты в приложение «Кошелёк», а также выпустить новые карты из каталога приложения.

В приложении уже зарегистрировано 20 миллионов пользователей. В нашей команде более 250 сотрудников, большая часть команды работает в главном офисе в Петербурге.

В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами.

Технологии/инструменты

JavaPythonETL

Всего у команды инженеров данных в нашей компании есть три направления работы

1. Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.

Сейчас у нас используются MS SQL и ClickHouse.
Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных.
До конца года мы хотим совсем отказаться от MS SQL и разгрузить ClickHouse от нетипичных для него задач. Для этого мы поднимаем Greenplum.
Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink'ом.
Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало, и улучшать.

2. ETL / ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное.

Для этого используются Airflow и Flink.

3. Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.

Ожидания

Опыт поддержки инфраструктуры данных (DevOps, аналитические базы данных, ETL-инструменты, BI-инструменты).
Опыт коммерческой разработки (предпочтительно Python и Java).
Опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка).
Понимание принципов работы Big Data-стека.
Опыт работы с терабайтами данных.
Умение работать с аналитиками (запросы на витрины данных и автоматизацию).

Будет плюсом:

Опыт администрирования и работы с Greenplum и ClickHouse.
Опыт с Airflow, Flink и Minio.

Мы предлагаем

Участие в развитии полезного и популярного приложения (14 млн MAU).
Работу с сильной инженерной командой.
Оформление по ТК РФ, ДМС с первого дня работы.
Гибкий график работы, возможна полностью удалённая работа.
Оплату профильных курсов и конференций.
Спорт четыре раза в неделю в офисе — йога и силовые тренировки.
Командные мероприятия.
Комфортный офис в центре города (5 минут от станции метро Чкаловская).

София Миланич Talent Sourcer HR

О компании Кошелёк

Сфера

Продуктовая компания

Размер

201 - 500

Кошелёк — приложение, которое заменяет бумажник с пластиковыми картами и помогает делать покупки удобнее и выгоднее. У Кошелька есть глобальная миссия — избавить мир от пластиковых карт. Больше 13 миллионов человек уже используют мобильные карты в приложении. Каждый день количество пользователей увеличивается благодаря их команде. В ней работает больше 250 человек, половина из которых — техническая команда.