Senior Data Engineer

Как построена работа

Мы выстроили инженерную культуру, где ценится качественный код и техническая экспертиза команды. Разработчики активно участвуют в проектировании решений, а время на работу с техническим долгом и рефакторинг — это часть нашего процесса, а не "когда-нибудь потом". У нас опытная команда, готовая делиться знаниями, и мы открыты к новым технологиям, если они решают реальные проблемы.

Процессы у нас построены на принципах Agile и постоянно оптимизируются под потребности команды. Работаем итерациями, проводим короткие и полезные синки, уделяем внимание проектированию и code review. При этом у нас нет лишней бюрократии — мы берем лучшее из гибких подходов и адаптируем процессы так, чтобы они помогали команде, а не создавали препятствия.

О команде

Команда Rusprofile — это 40+ человек:

• Основатели Илья и Дима, которые когда-то вместе заканчивали факультет вычислительной математики и кибернетики МГУ. Спустя 8 лет активного развития Rusprofile, основатели все также управляют бизнесом.
• Наша команда разработки состоит из 19 человек: двух инженеров по инфраструктуре, 13 разработчиков, а также 4 тестировщиков.
• Бизнес-ориентированная команда продукта: продакт-менеджеры, аналитики и дизайнеры продукта.
• Цель команды — создать надежную и масштабируемую инфраструктуру данных, которая поддерживает бизнес-решения и аналитические задачи компании. Ты будешь работать в составе инженерной команды вместе с разработчиками и DevOps.

Что ты будешь делать

Твоим руководителем будет СTO, твоя команда — разработчики и DevOps, а основным стейкхолдерами — продуктовый аналитик и продуктовая команда.

Твой фокус будет на улучшении существующей инфраструктуры данных для поддержки растущих потребностей бизнеса:

• Необходимо оптимизировать существующие процессы обработки данных, разрабатывать новые эффективные пайплайны и обеспечить надежность и доступность данных для аналитических нужд компании.
• Также предстоит работать над внедрением современных практик обеспечения качества данных.
• Вся наша инфраструктура данных сейчас работает на bare metal и требует от инженерной команды внимания и времени на сопровождение. Мы планируем переезд всего дата стека на управляемую (managed) инфраструктуру в облаке.

Твои задачи будут включать

Погружение в текущую инфраструктуру данных

• Изучение существующего хранилища данных, структуры и настройки (ClickHouse, MySQL), пайплайнов данных и инструментов (Airflow, Superset, Kafka).
• Погружение в текущие процессы и практики команды.

Планирование и определение приоритетов

• Выявление возможностей для быстрых оптимизаций в текущей инфраструктуре и процессах.
• Разработку плана тактических улучшений текущей инфраструктуры данных на ближайшие 3-4 месяца совместно с CTO.
• Определение топ-приоритетных задач, которые должны быть обязательно закрыты в течении испытательного срока.

Перенос инфраструктуры данных на IaC

• Поиск, выбор внешнего партнера (вероятно flant или express42) и запуск пилотного проекта по переходу на IaC в первые 3 месяца.
• Планирование и начало реализации полного перехода с bare metal на IaC в течение полугода.

Взятие на себя ответственности за инфраструктуру данных

• Стать владельцем текущего стека данных и процессов.
• Обеспечение поддержки и стабильной работы существующей инфраструктуры.

Сотрудничество с командами

• Налаживание эффективного взаимодействия с продуктовой командой, разработчиками и командой инфраструктуры.
• Обеспечение коммуникации и совместной работы над проектами по развитию инфраструктуры данных.

Как понять, что ты подойдешь

• Опыт работы от 3 лет в роли Data Engineer.
• Глубокое знание SQL и понимание методик оптимизации запросов.
• Уверенное владение Python.
• Опыт работы с Airflow, Superset, ClickHouse.
• Понимание устройства реляционных и нереляционных баз данных.
• Умение разрабатывать ETL/ELT-пайплайны на базе Airflow.
• Навыки мониторинга и отладки пайплайнов обработки данных.
• Умение проектировать архитектуру данных, в том числе индексы, партиционирование, шардирование.
• Понимание принципов data quality и data lineage.
• Опыт работы с Docker и контейнеризацией.
• Знание Linux на уровне базового администрирования.
• Опыт работы с Git.
• Умение самостоятельно развертывать и поддерживать сервисы обработки данных.
• Опыт настройки и оптимизации производительности СУБД.
• Базовые навыки практик DevOps.
• Опыт работы с CI/CD.

Мы предлагаем

• Свободу действий в принятии решений и высокий уровень ответственности — у тебя будет возможность влиять на продукт и строить процессы так, чтобы они помогали бизнесу достигать своих целей.
• Интересный продукт в одном из самых быстрорастущих сегментов рынка во всем мире. У нас большие стратегические планы по развитию стека обработки данных, и сейчас очень ранний этап работы с этими планами, есть возможность сразу сделать хорошо почти с нуля.
• Основной бизнес компании — данные. Лучшего применения своим знаниям трудно представить, так как от эффективности и скорости работы с данными напрямую зависит успех.
• Гибкий график и возможность удаленной работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу).
• Работу в аккредитованной ИТ-компании с полным соблюдением ТК РФ.
• Любую технику для работы.
• ДМС, 7 Day Off, оплату обучения, семинаров и конференций.