Senior Python Data Engineer

О команде и проекте

Весь форекс-трейдинг работает на МetaTrader-серверах, написанных на C++. Данные с серверов попадают в Kafka (в пики количество отправленных сообщений в Kafka достигает 10К операций в секунду), затем распространяются по нескольким хранилищам данных компании: Vertica, ClickHouse, Postgres.

У Exness большой R&D (>500 чел).

Большими данными занимается департамент из 60 senior специалистов. Команда DWH строит хранилища, процессинг, warm data, исследует метаданные. В команде 7 дата инженеров, 2 QA, 2 BSA и тим лид. Все senior уровня с экспертизой в разных областях. И им в Exness нравится как раз это: здесь нанимают профи, уважительно относятся к сотрудникам и практикуют гибкие подходы — тест новых инструментов у них на потоке.

Организационно департамент работает по проектам, которые они планируют совместно на квартал. Scrum, 1-недельные спринты.

Используют Jira как task-tracker, Confluence — средство документации.

Чем предстоит заниматься

• Строить масштабируемое решение для хранения, процессинга и аналитики данных на базе Vertica и PostgreeSQL.
• Пилить real-time сервис для поставки аналитических данных на Apache Flink и PostgreeSQL.
• Внедрять CI/CD на базе Liquibase.
• Ревьюить витрины аналитиков.
• Исследовать происхождение данных, развивать мастер-дата менеджмент.

Кого ищем

• Экспертный Python и SQL.
• Опыт работы с big data.
• Опыт проектирования баз данных и работы с Vertica, BigQuery, ClickHouse, PostgreSQL и т.д.

Важен уверенный уровень разговорного и письменного английского.

Условия

• Оплата мед.расходов на семью.
• Макбук, обустройство домашнего рабочего места.
• Оплата коворкинга, спорта, языковых курсов.
• Дважды в год командировка на Кипр на 2 недели.