Инженер данных

Вам предстоит

• Строить ETL-процессы.

Нужно извлекать из источников ценную информацию, обрабатывать её и приводить к виду, достойному взору аналитиков. Сложность пайплайнов может варьироваться от простых инжестов данных из внешней среды и приземления результата в хранилище до витиеватых графов со множеством инпутов и аутпутов.

• Оптимизировать логику.

Как известно, у нас нет собственного легаси, но мы часто работаем с прототипами, реализованными аналитиками, чьё представление о прекрасном может не совпадать с нашим. Поэтому мы распутываем нетривиальную логику и предлагаем более строгую, консистентную и оптимальную, ориентируясь на большие объёмы данных.

• Обеспечивать доступность сервиса.

Олимпиадный подход подразумевает одноразовость результата. Мы преследуем совсем другие цели, поэтому максима «сработало раз — и ладно» не о нас. Идеал такой: хранилище обеспечивает регулярную поставку с минимально возможным количеством сбоев, а данные — корректны, полны, непротиворечивы и отвечают самым строгим стандартам качества.

• Проектировать структуру хранилища.

Лучшее аналитическое DWH ещё только в планах. Мы хотим заложить основы, которые позволят ему быстро развиваться, обрастая при этом не костылями и велосипедами, а современными инженерными практиками и подходами.

• Взаимодействовать с аналитиками.

Они наши главные и любимые заказчики. Вместе с ними вам предстоит обдумывать бизнес-задачи, иногда спорить, но в итоге — находить оптимальные решения. Неотъемлемой частью этого процесса всегда будет накапливание личного опыта в бизнес-домене Финтеха. Прибавим сюда рост инженерного опыта — и получим двойную выгоду. Почти как у Яндекс Пэй.

Мы ждем, что вы

• Уверенно программируете на Python.
• Хорошо знаете SQL и понимаете устройство современных СУБД.
• Понимаете и можете объяснить необходимость непрерывной интеграции и доставки (CI/CD), преимущества использования систем контроля версий, код-ревью, тестирования и мониторинга.
• Работаете в командной строке Unix-подобных систем (Linux, MacOS).
• Имеете опыт работы от 3 лет.

Будет плюсом, если вы

• Создавали сложные высоконагруженные ETL- и ELT-процессы (Hadoop, Hive, Spark).
• Разрабатывали процессы обработки событий, приближенные к реальному времени (Kafka, Spark Streaming, Flink).
• Знакомы со специализированными аналитическими БД (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, pandas, SciPy, Matplotlib).
• Участвовали в проектировании хранилищ данных.
• Работали по методологии Agile.
• Руководили стажёрами или начинающими специалистами.
• Публикуете свой код в доступном репозитории, пишете статьи, выступаете на конференциях.

Условия

• Расширенная программа ДМС со стоматологией.
• Компенсация оплаты питания.
• Возможность обучения и сертификации за счёт компании.
• Скидки от компаний-партнёров.
• Премии каждые полгода за эффективную работу.
• Гибкий график.