Глава 182: Справедливое федеративное обучение для трейдинга

1. Введение: Справедливость в совместном обучении торговых моделей

Федеративное обучение (FL) стало мощной парадигмой для обучения моделей машинного обучения на распределённых источниках данных без передачи исходных данных. В финансах это позволяет нескольким торговым подразделениям, хедж-фондам или институциональным инвесторам совместно обучать прогнозные модели, сохраняя конфиденциальность данных и соблюдая нормативные требования.

Однако стандартные алгоритмы FL, такие как FedAvg, одинаково обращаются со всеми участниками, агрегируя обновления моделей путём простого взвешивания по размеру данных. Это создаёт критическую проблему справедливости в контексте трейдинга:

• Неравенство качества данных: Одни подразделения работают на ликвидных рынках с чистыми высокочастотными данными, а другие торгуют на неликвидных рынках с зашумлёнными, разреженными наблюдениями.
• Асимметрия вклада: Подразделение, предоставляющее действительно информативные сигналы, должно получать больше пользы, чем то, которое вносит шум.
• Равномерность производительности vs. справедливость: Должна ли глобальная модель работать одинаково хорошо для всех участников, или она должна вознаграждать тех, кто вносит больший вклад?

Справедливое федеративное обучение решает эти вопросы, вводя механизмы, обеспечивающие равноправные результаты среди разнородных участников. В этой главе мы исследуем три ключевых подхода — q-FedAvg, агностическое федеративное обучение (AFL) и взвешивание на основе вклада — и демонстрируем их применение к совместному обучению торговых моделей с использованием данных криптовалютного рынка Bybit.

Ставки высоки: несправедливое FL может привести к тому, что более мелкие или менее качественные участники получат модель, которая активно вредит их торговой эффективности, в то время как несколько доминирующих участников забирают всю выгоду. Справедливое FL стремится предотвратить это, балансируя между совокупной производительностью и благосостоянием отдельных участников.

2. Математические основы

2.1 Краткое описание стандартного FedAvg

В стандартном федеративном усреднении, при наличии K клиентов, каждый с локальным набором данных D_k размера n_k, глобальная целевая функция:

$$\min_w F(w) = \sum_{k=1}^{K} \frac{n_k}{n} F_k(w)$$

где $n = \sum_k n_k$ и $F_k(w) = \frac{1}{n_k} \sum_{i \in D_k} \ell(w; x_i, y_i)$ — локальная функция потерь.

Правило агрегации:

$$w^{t+1} = \sum_{k=1}^{K} \frac{n_k}{n} w_k^{t+1}$$

Это даёт более крупным клиентам больше влияния, что может быть несправедливым, когда размер данных не коррелирует с их качеством.

2.2 q-FedAvg: Справедливость через перевзвешивание

q-FedAvg (Li et al., 2020) вводит гиперпараметр q >= 0, контролирующий компромисс между справедливостью и точностью. Целевая функция становится:

$$\min_w f_q(w) = \sum_{k=1}^{K} \frac{p_k}{q+1} (F_k(w))^{q+1}$$

где $p_k = n_k / n$ — весовые коэффициенты смешивания.

При q = 0 это сводится к стандартному FedAvg. По мере увеличения q оптимизация уделяет больше внимания клиентам с более высокими потерями, побуждая модель улучшать производительность для наиболее пострадавших участников.

Ключевое наблюдение состоит в том, что градиент $f_q$ по w равен:

$$\nabla f_q(w) = \sum_{k=1}^{K} p_k (F_k(w))^q \nabla F_k(w)$$

Это означает, что клиенты с более высокими потерями (худшей производительностью) получают усиленный вклад в градиент, направляя модель к более агрессивному снижению их потерь.

На этапе агрегации обновления клиентов перевзвешиваются:

$$\Delta_k = (F_k(w^t))^q \cdot (w_k^{t+1} - w^t)$$

$$w^{t+1} = w^t + \frac{\sum_k p_k \Delta_k}{\sum_k p_k (F_k(w^t))^q}$$

2.3 Агностическое федеративное обучение (AFL)

AFL (Mohri et al., 2019) использует минимаксный подход, оптимизируя модель для наихудшей смеси клиентских распределений:

$$\min_w \max_{\lambda \in \Delta_K} \sum_{k=1}^{K} \lambda_k F_k(w)$$

где $\Delta_K$ — K-мерный симплекс. Это задача о седловой точке: мы минимизируем по параметрам модели, максимизируя по весам смеси lambda.

Решение чередует:

1. Внутреннюю максимизацию: При текущем w наихудшая lambda помещает весь вес на клиента с наибольшими потерями: $$\lambda_k^* = \begin{cases} 1 & \text{если } k = \arg\max_j F_j(w) \ 0 & \text{иначе} \end{cases}$$

2. Внешнюю минимизацию: Обновление w с использованием взвешенного градиента: $$w^{t+1} = w^t - \eta \sum_k \lambda_k^t \nabla F_k(w^t)$$

На практике используется softmax-релаксация для избежания вырожденных решений:

$$\lambda_k \propto \exp(\gamma \cdot F_k(w))$$

где gamma управляет резкостью распределения.

2.4 Взвешивание на основе вклада

Подходы на основе вклада измеряют маргинальный вклад каждого клиента в производительность глобальной модели, вдохновлённые значениями Шепли из теории кооперативных игр.

Значение Шепли для клиента k:

$$\phi_k = \sum_{S \subseteq K \setminus {k}} \frac{|S|!(K-|S|-1)!}{K!} [V(S \cup {k}) - V(S)]$$

где V(S) — функция ценности (например, отрицательные потери на валидации) модели, обученной на коалиции S.

Точное вычисление значений Шепли экспоненциально по K, поэтому мы используем приближение Монте-Карло:

1. Выбираем случайные перестановки pi клиентов
2. Для каждой перестановки вычисляем маргинальный вклад клиента k при добавлении к множеству клиентов, предшествующих ему в pi
3. Усредняем по перестановкам

Полученные веса на основе Шепли используются для агрегации:

$$w^{t+1} = \sum_{k=1}^{K} \frac{\max(\phi_k, 0)}{\sum_j \max(\phi_j, 0)} w_k^{t+1}$$

Клиенты с отрицательным вкладом (те, которые вредят модели) получают нулевой вес, эффективно исключаясь из агрегации.

3. Торговое применение: Справедливый обмен моделями между торговыми подразделениями

Рассмотрим сценарий с четырьмя торговыми подразделениями, совместно прогнозирующими краткосрочные движения цен криптовалют:

Подразделение	Фокус рынка	Качество данных	Характеристики
Стол A	BTC спот (Bybit)	Высокое	Большой объём, чистые тиковые данные, низкая задержка
Стол B	Альткоин-пары	Среднее	Умеренный объём, некоторые пропуски данных
Стол C	Новые токены	Низкое	Разреженные данные, высокий шум, частые пробелы
Стол D	Межбиржевой арбитраж	Смешанное	Агрегированные данные с артефактами задержки

Без справедливого FL: Стандартный FedAvg взвесил бы обновления стола A наиболее сильно (крупнейший набор данных), потенциально создавая модель, хорошо работающую для ликвидной торговли BTC, но неудачную для альткоинов и новых токенов. Стол C получил бы модель, плохо приспособленную к его торговой среде.

С q-FedAvg (q > 0): Алгоритм усиливает обновления от подразделений с более высокими потерями, заставляя модель улучшать производительность для столов C и D. Итоговая модель может немного пожертвовать производительностью стола A, но обеспечивает значительно лучшие прогнозы для всех подразделений.

С AFL: Минимаксная формулировка гарантирует, что потери наихудшего подразделения минимизируются. Это обеспечивает сильную гарантию справедливости, но может быть чрезмерно консервативным.

С оценкой вклада: Фактический вклад каждого подразделения в качество модели измеряется. Если зашумлённые данные стола C вредят модели, его вес уменьшается. Если кросс-биржевые данные стола D предоставляют уникальные сигналы, его вес увеличивается, несмотря на смешанное качество.

Выбор между подходами зависит от структуры управления федерацией. Кооперативные федерации (например, подразделения одной фирмы) могут предпочесть эгалитарную гарантию AFL, тогда как конкурентные федерации (например, независимые фонды) могут предпочесть взвешивание на основе вклада для стимулирования обмена качественными данными.

4. Обзор реализации

Наша реализация на Rust в rust/src/lib.rs предоставляет следующие компоненты:

4.1 Основные структуры данных

• FLClient: Представляет торговое подразделение с локальными весами модели, локальными данными, уровнем качества данных и отслеживанием локальных потерь.
• FairFLServer: Центральный сервер агрегации, реализующий несколько стратегий справедливости.
• FairnessMetrics: Отслеживает потери по клиентам, коэффициент Джини и соотношения min-max потерь.

4.2 Стратегии справедливой агрегации

Сервер поддерживает три режима агрегации через перечисление AggregationStrategy:

1. StandardFedAvg: Базовое усреднение, взвешенное по размеру данных.
2. QFedAvg { q: f64 }: Усреднение, перевзвешенное по потерям, с настраиваемым параметром q.
3. ContributionBased: Оценка вклада, вдохновлённая Шепли, с аппроксимацией leave-one-out.

4.3 Цикл обучения

Каждый раунд выполняется следующим образом:

1. Сервер передаёт текущую глобальную модель всем клиентам.
2. Каждый клиент выполняет локальный SGD на своих данных в течение настраиваемого количества локальных эпох.
3. Каждый клиент сообщает обновлённые веса и локальные потери серверу.
4. Сервер вычисляет веса агрегации на основе выбранной стратегии.
5. Сервер агрегирует обновления и вычисляет метрики справедливости.

4.4 Симулированная торговая модель

Мы используем простую линейную модель прогнозирования: по вектору признаков x (полученному из доходностей, объёма и волатильности) прогнозируем доходность следующего периода. Функция потерь — среднеквадратичная ошибка (MSE). Хотя модель простая, она изолирует эффекты справедливой агрегации от вопросов архитектуры модели.

4.5 Симуляция качества данных

Клиенты получают данные с различными уровнями качества:

• Высокое качество: Исходные признаки с минимальным шумом (sigma = 0.01)
• Среднее качество: Признаки с умеренным шумом (sigma = 0.05)
• Низкое качество: Признаки с высоким шумом и 20% пропущенных значений (sigma = 0.15)

5. Интеграция данных Bybit

Мы получаем реальные рыночные данные из публичного API Bybit для привязки наших экспериментов к реальным торговым сценариям.

5.1 Конечная точка API

Мы используем конечную точку V5 kline (свечи) Bybit:

GET https://api.bybit.com/v5/market/kline?category=linear&symbol=BTCUSDT&interval=60&limit=200

Это возвращает часовые данные OHLCV для бессрочного контракта BTC/USDT.

5.2 Инженерия признаков

Из необработанных данных OHLCV мы вычисляем:

• Доходности: r_t = (close_t - close_{t-1}) / close_{t-1}
• Волатильность: Скользящее стандартное отклонение доходностей за 5 периодов
• Коэффициент объёма: vol_t / mean(vol_{t-5:t})
• Ценовой диапазон: (high_t - low_t) / close_t
• Моментум: (close_t - close_{t-5}) / close_{t-5}

5.3 Построение меток

Целью прогнозирования является знак и величина доходности следующего периода:

$$y_t = r_{t+1} = \frac{close_{t+1} - close_t}{close_t}$$

Это задача регрессии; для торговли знак указывает направление, а величина — уверенность.

6. Метрики справедливости и результаты

6.1 Метрики

Мы оцениваем справедливость с помощью нескольких взаимодополняющих метрик:

• Дисперсия потерь: $\text{Var}({F_k(w^*)}_{k=1}^K)$ — меньше значит справедливее.
• Соотношение min-max: $\min_k F_k / \max_k F_k$ — ближе к 1 значит справедливее.
• Коэффициент Джини потерь: Измеряет неравенство в распределении потерь между клиентами. 0 = идеальное равенство, 1 = максимальное неравенство.
• Потери наихудшего случая: $\max_k F_k(w^*)$ — потери наиболее пострадавшего клиента.

6.2 Ожидаемые результаты

На основе теоретических свойств и типичных эмпирических результатов:

Метрика	FedAvg	q-FedAvg (q=2)	AFL	Вклад
Средн. потери	Лучшие	Чуть выше	Выше	Умеренные
Макс. потери	Высокие	Ниже	Наименьшие	Умеренные
Джини	Высокий	Низкий	Наименьший	Умеренный
Min-Max соотн.	Низкое	Выше	Наивысшее	Умеренное

Ключевые наблюдения:

1. Стандартный FedAvg достигает наименьших средних потерь, но ценой высокого неравенства. Клиент с лучшими данными (стол A) выигрывает больше всего, тогда как клиент с худшими данными (стол C) может увидеть ухудшение по сравнению с обучением в одиночку.

2. q-FedAvg обеспечивает плавный компромисс. Увеличение q от 0 до 5 постепенно уменьшает неравенство с убывающими затратами на среднюю производительность. q = 1-3 обычно является хорошим рабочим диапазоном для торговых приложений.

3. AFL обеспечивает сильнейшую гарантию справедливости, но может быть чрезмерно консервативным, жертвуя слишком большой средней производительностью для улучшения наихудшего случая. Лучше всего подходит для федераций с неприятием риска.

4. Взвешивание на основе вклада наиболее уместно, когда важны стимулы участников. Оно естественно справляется с безбилетниками (клиентами, вносящими шум) и вознаграждает настоящих поставщиков сигналов.

6.3 Практические соображения

• Нестационарность: Финансовые рынки нестационарны, поэтому справедливость необходимо периодически пересматривать. Клиент с высококачественными данными сегодня может иметь ухудшенное качество завтра.
• Стратегическое поведение: В конкурентных условиях клиенты могут стратегически завышать свои потери для получения большего влияния при q-FedAvg. Методы на основе вклада более устойчивы к такой манипуляции.
• Скорость сходимости: Справедливые методы обычно сходятся медленнее, чем стандартный FedAvg, из-за накладных расходов на перевзвешивание. Планируйте в 1.5-2 раза больше раундов коммуникации.
• Конфиденциальность: Методы справедливой агрегации совместимы с безопасной агрегацией и дифференциальной приватностью, хотя взаимодействие между справедливостью и конфиденциальностью является активной областью исследований.

7. Ключевые выводы

1. Стандартный FedAvg несправедлив по умолчанию: Взвешивание по размеру данных выгодно участникам с большими данными и может навредить более мелким. В трейдинге это может привести к моделям, хорошо работающим только для наиболее ликвидных рынков.

2. q-FedAvg обеспечивает настраиваемую справедливость: Параметр q предлагает плавный компромисс между средней производительностью и равенством. Начните с q = 1 и увеличивайте в зависимости от требований федерации к справедливости.

3. AFL гарантирует производительность в наихудшем случае: Минимаксная формулировка гарантирует, что ни один участник не будет оставлен позади. Используйте это, когда нормативные или договорные требования требуют паритета производительности.

4. Оценка вклада выравнивает стимулы: Взвешивание на основе Шепли вознаграждает подлинный вклад и наказывает безбилетников. Необходимо для конкурентных федераций, где участники могут действовать стратегически.

5. Справедливость не бесплатна, но часто оправдана: Справедливые методы FL обычно жертвуют 5-15% средней производительности для достижения значительно более равноправных результатов. В трейдинге это может означать разницу между федерацией, которая удерживает членов, и той, которая распадается.

6. Мониторьте справедливость динамически: Финансовые рынки эволюционируют, как и качество данных и паттерны вкладов. Внедрите непрерывный мониторинг справедливости и соответственно корректируйте стратегии.

7. Комбинируйте подходы разумно: На практике гибридный подход — взвешивание на основе вклада с минимальным порогом справедливости q-FedAvg — часто работает лучше всего, обеспечивая как выравнивание стимулов, так и минимальные гарантии справедливости.

Литература

• Li, T., Sanjabi, M., Beirami, A., & Smith, V. (2020). Fair Resource Allocation in Federated Learning. ICLR 2020.
• Mohri, M., Sivek, G., & Suresh, A. T. (2019). Agnostic Federated Learning. ICML 2019.
• Wang, T., Rauber, J., & Bethge, M. (2020). Data Shapley: Equitable Valuation of Data for Machine Learning. JMLR.
• Kairouz, P., et al. (2021). Advances and Open Problems in Federated Learning. Foundations and Trends in Machine Learning.