Перейти к содержимому
The Algotrading Book

Глава 184: Межсилосное федеративное обучение для трейдинга

1. Введение

Межсилосное федеративное обучение (FL) представляет собой смену парадигмы в том, как институциональные торговые компании могут совместно обучать модели, не передавая свои проприетарные данные. В отличие от кроссдевайсного FL, которое координирует миллионы небольших граничных устройств, межсилосное FL объединяет небольшое число мощных институциональных участников — хедж-фонды, банки, проприетарные торговые фирмы и управляющие компании — каждый из которых располагает крупными, тщательно подготовленными наборами данных рыночных сигналов, логов исполнения и альфа-факторов.

Основная идея проста, но при этом трансформативна: несколько торговых учреждений могут совместно обучить предсказательную модель, которая превосходит любую модель, обученную на данных одного учреждения, при этом гарантируя, что ни один участник никогда не увидит сырые данные другого. Это особенно актуально на финансовых рынках, где данные являются конкурентным преимуществом — фирмы никогда не будут делиться данными потока ордеров, проприетарными признаками или статистикой исполнения в открытом виде.

В традиционном централизованном машинном обучении все данные должны быть собраны в одном месте. Для торговых компаний это неприемлемо из-за регуляторных ограничений (MiFID II, GDPR, Dodd-Frank), конкурентных соображений и высокой чувствительности торговых данных. Межсилосное FL устраняет этот барьер, оставляя данные локальными и обмениваясь только обновлениями модели.

В этой главе рассматриваются архитектура, математические основы, гарантии приватности и полная реализация на Rust системы межсилосного FL, предназначенной для институционального трейдинга, с интеграцией рыночных данных Bybit.

2. Архитектура

2.1 Горизонтальное и вертикальное федеративное обучение

Горизонтальное FL применяется, когда учреждения имеют одинаковое пространство признаков, но располагают данными по разным выборкам. Например, три хедж-фонда торгуют одним и тем же набором криптоактивов на Bybit, но каждый с разными временными окнами, данными исполнения или проприетарными наложениями сигналов. Архитектура модели идентична во всех силосах; различается распределение данных.

Вертикальное FL применяется, когда учреждения владеют разными признаками для пересекающихся выборок. Например, одна фирма имеет признаки микроструктуры книги ордеров, другая — ончейн-аналитику, а третья — данные сентимента — все для одного и того же набора активов за один период. Вертикальное FL требует более сложных протоколов (split learning, выравнивание сущностей) и сложнее в безопасной реализации.

Данная глава фокусируется преимущественно на горизонтальном FL как на более распространённом и практичном отправном пункте для торговых приложений.

2.2 Варианты топологий

Звёздная топология (Hub-and-Spoke): Центральный сервер агрегации координирует раунды обучения. Каждый институциональный клиент обучается локально и отправляет обновления модели на сервер, который агрегирует их и распространяет глобальную модель обратно. Это самая простая архитектура, но она вводит единую точку отказа и предположение о доверии к серверу.

Кольцевая топология: Обновления модели передаются последовательно от одного учреждения к следующему, каждое добавляет свой вклад перед пересылкой. Это устраняет центральный сервер, но увеличивает задержку линейно с числом участников и делает систему уязвимой к отказу любого узла.

Одноранговая (P2P) топология: Каждое учреждение общается напрямую с подмножеством коллег. Обновления распространяются по сети через gossip-протокол и сходятся через итеративное усреднение. Это наиболее устойчивая топология, но самая сложная для эффективной реализации, особенно с безопасной агрегацией.

Наша реализация использует звёздную топологию с безопасной агрегацией, которая обеспечивает оптимальный баланс простоты, эффективности и приватности для типичного межсилосного торгового сценария с 3-10 институциональными участниками.

3. Математические основы

3.1 Взвешенное федеративное усреднение (FedAvg)

Базовый алгоритм межсилосного FL — федеративное усреднение. При K институциональных участниках, каждый с локальным набором данных D_k размером n_k, глобальные параметры модели на раунде t+1 вычисляются как:

w^{t+1} = sum_{k=1}^{K} (n_k / n) * w_k^{t+1}

где n = sum_{k=1}^{K} n_k — общее количество образцов по всем силосам, а w_k^{t+1} — локально обновлённые параметры участника k после E эпох локального SGD, начиная с w^t.

Каждый участник k выполняет локальное обучение:

w_k^{t+1} = w_k^t - eta * (1/n_k) * sum_{i in D_k} gradient(L(w_k^t; x_i, y_i))

Взвешивание по n_k / n гарантирует, что учреждения с большим объёмом данных оказывают пропорционально большее влияние на глобальную модель, что статистически оптимально при предположении IID данных по силосам.

3.2 Работа с не-IID данными

На практике торговые данные между учреждениями редко бывают IID. Каждая фирма имеет различные торговые стратегии, покрытие активов и доступ к рынку. Для решения этой проблемы используются модификации FedAvg:

  • FedProx: Добавляет проксимальный член (mu/2) * ||w - w^t||^2 к каждой локальной целевой функции, предотвращая чрезмерное расхождение локальных моделей от глобальной.
  • SCAFFOLD: Использует контрольные переменные для коррекции дрейфа клиентов, быстрее сходясь на не-IID данных.
  • Индивидуальные скорости обучения: Позволяют каждому учреждению адаптировать локальную скорость обучения на основе характеристик его данных.

3.3 Протокол безопасной агрегации

Безопасная агрегация гарантирует, что центральный сервер может вычислить взвешенное среднее обновлений модели, не узнав обновление отдельного участника. Протокол работает следующим образом:

  1. Фаза настройки: Каждая пара участников (i, j) согласовывает общий случайный seed s_{ij} с помощью обмена ключами Диффи-Хеллмана.

  2. Фаза маскирования: Участник k вычисляет замаскированное обновление:

    y_k = w_k + sum_{j > k} PRG(s_{kj}) - sum_{j < k} PRG(s_{jk})

    где PRG — псевдослучайный генератор.

  3. Фаза агрегации: Сервер суммирует все замаскированные обновления:

    sum_{k} y_k = sum_{k} w_k

    Случайные маски взаимно уничтожаются при суммировании, давая истинный агрегат и скрывая индивидуальные вклады.

  4. Обработка выбытия: Если участник выбывает, оставшиеся участники могут восстановить маску выбывшей стороны с помощью разделения секрета (схема Шамира).

4. Механизмы приватности

4.1 Дифференциальная приватность

Даже при наличии безопасной агрегации глобальное обновление модели может утекать информацию о данных отдельных участников через атаки инверсии модели или определения принадлежности. Дифференциальная приватность (DP) обеспечивает формальную гарантию путём добавления калиброванного шума.

(epsilon, delta)-дифференциальная приватность гарантирует, что для любых двух смежных наборов данных D и D’ (отличающихся одной записью) и любого множества выходов S:

Pr[M(D) in S] <= exp(epsilon) * Pr[M(D') in S] + delta

В федеративном обучении DP применяется на двух уровнях:

  • Локальная DP (LDP): Каждый участник обрезает градиент до нормы C и добавляет гауссовский шум N(0, sigma^2 * C^2 * I) перед отправкой обновлений.

  • Центральная DP (CDP): Сервер добавляет шум к агрегированному обновлению. В сочетании с безопасной агрегацией это обеспечивает приватность на уровне записей с гораздо меньшим уровнем шума, чем LDP.

Для торговых моделей мы рекомендуем CDP с безопасной агрегацией, нацеливаясь на epsilon в диапазоне 1-10.

4.2 Безопасные многосторонние вычисления (MPC)

MPC обобщает безопасную агрегацию на произвольные вычисления. В контексте межсилосного FL для трейдинга MPC позволяет:

  • Приватное пересечение множеств: Определение, какими активами торгуют несколько участников, без раскрытия полных портфелей.
  • Безопасное сравнение: Сравнение производительности моделей между учреждениями без раскрытия фактических метрик.
  • Забывчивая передача: Позволяет участникам выборочно делиться признаками для вертикального FL без раскрытия выбранных признаков.

4.3 Модель угроз

Наша система учитывает:

  • Честные, но любопытные (полу-честные) участники: Они следуют протоколу, но пытаются извлечь информацию из наблюдаемых сообщений. Безопасная агрегация защищает от этого.
  • Злонамеренный сервер: Сервер агрегации может попытаться восстановить индивидуальные обновления. Безопасная агрегация и DP защищают от этого.
  • Сговор: До t < K/2 участников могут вступить в сговор с сервером. Пороговое разделение секрета в протоколе безопасной агрегации защищает от этого.

5. Описание реализации

Реализация на Rust в этой главе предоставляет полную систему межсилосного FL со следующими компонентами:

5.1 Основная архитектура

  • FederatedCoordinator: Центральный сервер, который организует раунды обучения, выполняет взвешенную агрегацию и управляет регистрацией участников.

  • InstitutionalClient: Представляет отдельного институционального участника. Каждый клиент хранит свой локальный набор данных, выполняет локальное обучение и применяет механизмы приватности перед отправкой обновлений.

  • SecureAggregator: Симулирует протокол безопасной агрегации с маскированием и демаскированием на основе псевдослучайных генераторов.

  • DifferentialPrivacy: Реализует обрезку градиентов и добавление гауссовского шума для локальной дифференциальной приватности.

5.2 Цикл обучения

Федеративное обучение проходит по раундам:

  1. Координатор рассылает текущую глобальную модель всем участникам.
  2. Каждый участник обучается локально в течение E эпох на своём приватном наборе данных.
  3. Каждый участник обрезает градиенты и добавляет DP-шум.
  4. Участники отправляют замаскированные обновления через безопасную агрегацию.
  5. Координатор агрегирует обновления с помощью взвешенного FedAvg.
  6. Повторяется до сходимости или исчерпания бюджета.

5.3 Модель

Мы используем простую линейную регрессию (веса и смещение) для прогнозирования цен. Хотя реальные институциональные модели значительно сложнее, линейная модель наглядно демонстрирует механику FL. Та же инфраструктура FL работает с любой дифференцируемой моделью.

6. Интеграция данных Bybit

Реализация включает модуль получения данных Bybit, который извлекает свечные данные (kline) для указанных торговых пар через публичный API Bybit v5. Каждый институциональный участник настроен с различными торговыми парами или временными окнами, имитируя гетерогенное распределение данных, типичное для межсилосного FL.

Используемый эндпоинт API Bybit:

GET https://api.bybit.com/v5/market/kline

Параметры включают symbol (например, BTCUSDT), interval (например, 60 для часовых свечей) и limit (количество свечей). Модуль парсит JSON-ответ, извлекает данные OHLCV и конструирует векторы признаков для обучения модели.

Каждый институциональный клиент извлекает признаки из сырых свечных данных:

  • Доходность: (close - open) / open
  • Прокси волатильности: (high - low) / open
  • Сигнал объёма: Нормализованный объём

Целевая переменная — доходность следующего периода.

7. Ключевые выводы

  1. Межсилосное FL позволяет институциональное сотрудничество: Торговые фирмы могут совместно улучшать предсказательные модели без обмена проприетарными данными.

  2. Взвешенный FedAvg — базовый алгоритм: Он прост, эффективен и хорошо изучен. Взвешивание по размеру набора данных обеспечивает справедливое представительство.

  3. Безопасная агрегация необходима: Без неё сервер агрегации может тривиально восстановить индивидуальные обновления при малом K.

  4. Дифференциальная приватность добавляет глубинную защиту: Даже при наличии безопасной агрегации опубликованная глобальная модель может утекать информацию. DP обеспечивает формальные гарантии.

  5. Топология имеет значение: Звёздная топология с безопасной агрегацией — практичный выбор для 3-10 участников.

  6. Не-IID данные — норма в финансах: Данные каждого учреждения отражают его уникальную стратегию. Алгоритмы должны учитывать эту гетерогенность.

  7. Начинайте с горизонтального FL: Вертикальное FL мощнее в теории, но значительно сложнее в безопасной реализации.

  8. Соответствие регуляторным требованиям: Межсилосное FL хорошо согласуется с финансовыми регуляциями (GDPR, MiFID II, CCPA).

  9. Rust хорошо подходит для инфраструктуры FL: Гарантии безопасности памяти, абстракции с нулевой стоимостью и сильная система типов делают его идеальным для реализации криптографических протоколов.

  10. Настоящая ценность — в слиянии проприетарных сигналов: Истинная сила межсилосного FL в трейдинге раскрывается, когда учреждения вносят модели, обученные на проприетарных, непересекающихся сигналах.