Java Developer

Часовой пояс

(GMT+3) Limassol, Cyprus.

О команде и проекте

Весь форекс-трейдинг работает на МetaTrader-серверах, написанных на C++. Данные с серверов попадают в Kafka (в пики количество отправленных сообщений в Kafka достигает 10К операций в секунду), затем распространяются по нескольким хранилищам данных компании: Vertica, ClickHouse, Postgres.

Смежные команды отвечают за потоки данных в эти источники, формирование витрин с данными, за агрегацию данных. А команда Data Integration формирует интеграцию и real-time процессинг данных.

Им важно выдерживать низкий time-to-market. Автоматом к потоку данных нужно прикручивать мониторинг, алертинг и реконсиляцию данных. Помимо торговых данных, у них множество других источников: БД, API, очереди Kafka. Помимо внутренних систем нужна интеграция с внешними: SalesForce (их CRM), BigQuery, запросы на SurveyMonkey. Иногда нужно будет ad-hoc собирать данные для MVP.

У них много процессинга сообщений. Есть business-critical часть по обработке сообщений из трейдинг-серверов с последующим хранением данных в MongoDB и ClickHouse.

Есть потребность в создании real-time аналитической платформы, которой смогут пользоваться дата-саентисты.

В команде по плану будет работать 6 дата инженеров, 2 QA, BSA и тимлид. Сейчас 4 дата инженера + тимлид. Ребята энергичные, все senior уровня с экспертизой в разных областях. И им в Exness нравится как раз это: здесь нанимают профи, уважительно относятся к сотрудникам и практикуют гибкие подходы — тест новых инструментов у них на потоке.

Организационно департамент работает по проектам, которые они планируют совместно на квартал. На кросс-командные проекты выделятся PM. Сама команда работает по Scrum.

Используют Jira как task-tracker, Confluence — средство документации.

Чем предстоит заниматься

• Строить архитектуру решений для интеграции данных, обеспечивать плавный переход от текущей архитектуры к целевой.
• Разрабатывать новые решения для обработки данных (ETL, конвейеры, службы интеграции, пакетная и потоковая обработка, службы обогащения и т.д.).
• Создавать инфраструктуру, необходимую для оптимального хранения, обработки данных и предоставления данных клиентам.
• Обеспечивать возможность работы с данными внешним командам (обработка, преобразование, объединение, выполнение специальных операций, вычисление).
• Готовить наборы данных из разных источников по запросу.
• Настраивать мониторинг, определять SLA, анализировать показатели доставки и обработки данных.
• Разрабатывать встроенное решение для согласования данных.
• Собирать большие и сложные наборы данных, отвечающие функциональным / нефункциональным бизнес-требованиям (бизнес-кейсы).
• Рекомендовать способы повышения надежности, эффективности и качества данных.

Кого ищут

• Знание Java и Spring. Как преимущество Python, Golang.
• Экспертное знания SQL и оптимизации запросов.
• Проектирование базы данных с помощью устройств массовой параллельной обработки: Vertica, BigQuery, ClickHouse, PostgreSQL и т.д.
• Опыт работы с потоковыми технологиями Kafka обязателен, и технологиями платформы данных ClickHouse, MongoDB (опционально).
• Git DVCS.
• Опыт создания масштабируемых аналитических решений с высокой доступностью.
• Как преимущество — опыт проектирования и строительства ETL пайплайна.
• Ищут командного игрока, который разделяет и развиваете культуру DevOps (непрерывная интеграция, непрерывная поставка) и гибкое мышление.
• Важен средний уровень разговорного и письменного английского.

Условия

• Удаленка с командировками на Кипр 1-2 раза в год.