Компания больше не ищет сотрудника. Посмотрите похожие предложения
Data Engineer
в Кошелёк
250 000 — 370 000 ₽/мес на руки
Технологии/инструменты
Кошелёк — мобильное приложение, которое заменяет физический бумажник с пластиковыми картами.
Наша миссия — сделать покупки удобнее и выгоднее для пользователей и избавить мир от пластиковых карт. Вы можете перенести существующие банковские и дисконтные карты в приложение «Кошелёк», а также выпустить новые карты из каталога приложения.
В приложении уже зарегистрировано 20 миллионов пользователей. В нашей команде более 250 сотрудников, большая часть команды работает в главном офисе в Петербурге.
В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами.
Всего у команды инженеров данных в нашей компании есть три направления работы
1. Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.
- Сейчас у нас используются MS SQL и Clickhouse.
- Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных.
- До конца года мы хотим совсем отказаться от MS SQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы поднимаем Greenplum.
- Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink'ом.
- Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало и улучшать.
2. ETL / ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное.
- Для этого используются Airflow и Flink.
3. Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.
Ожидания
- Опыт поддержки инфраструктуры данных (DevOps, аналитические базы данных, ETL-инструменты, BI-инструменты).
- Опыт коммерческой разработки (предпочтительно Python и Java).
- Опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка).
- Понимание принципов работы Big Data стека.
- Опыт работы с терабайтами данных.
- Умение работать с аналитиками (запросы на витрины данных и автоматизацию).
- Желателен опыт администрирования и работы с Greenplum и Clickhouse.
- Желателен опыт с Airflow, Flink и Minio.
Со своей стороны предлагаем
- Участие в развитии полезного и популярного приложения (14 млн MAU).
- Работу с сильной инженерной командой.
- Оформление по ТК РФ, ДМС с первого дня работы.
- Гибкий график работы, возможна полностью удалённая работа.
- Оплату профильных курсов и конференций.
- Спорт четыре раза в неделю в офисе — йога и силовые тренировки.
- Командные мероприятия.
- Комфортный офис в центре города (5 минут от станции метро Чкаловская).
О компании Кошелёк
Кошелёк — приложение, которое заменяет бумажник с пластиковыми картами и помогает делать покупки удобнее и выгоднее. У Кошелька есть глобальная миссия — избавить мир от пластиковых карт. Больше 13 миллионов человек уже используют мобильные карты в приложении. Каждый день количество пользователей увеличивается благодаря их команде. В ней работает больше 250 человек, половина из которых — техническая команда.