Перейти к содержимому
The Algotrading Book

Глава 159: Barlow Twins Finance

Обзор

Методы Self-supervised обучения (обучение без учителя) на финансовых данных претерпели значительную эволюцию. В то время как SimCLR требует огромных наборов негативных примеров, а BYOL нуждается в тщательно настроенных асимметричных сетях (дополнительной Target сети и EMA обновлении), Barlow Twins предлагает математически элегантную альтернативу: Уменьшение избыточности (Redundancy Reduction).

В этой главе мы адаптируем модель Barlow Twins для работы с 1D-паттернами алгоритмического трейдинга. Модель работает путем подачи двух аугментированных версий пакета (батча) биржевых графиков в две абсолютно идентичные нейронные сети, а затем оптимизирует Матрицу кросс-корреляции (Cross-Correlation Matrix) их выходов.

Ключевые механизмы

  1. Базовые сети (Twins): Две идентичные сети (одинаковая архитектура, одинаковые веса, обновляются одновременно).
  2. Матрица кросс-корреляции: Для пакета эмбеддингов (представлений) из сети А и сети Б, мы измеряем, насколько каждое измерение эмбеддинга А коррелирует с каждым измерением эмбеддинга Б.
  3. Целевая функция (Loss Function): Мы стремимся сделать эту матрицу кросс-корреляции максимально похожей на Единичную матрицу (Identity Matrix):
    • Инвариантность (Диагональ матрицы): Мы подталкиваем корреляцию измерения $i$ из сети А и измерения $i$ из сети Б к $1$. Это означает, что выделенный признак (фича) остается неизменным, независимо от рыночного шума, добавленного во время аугментации.
    • Уменьшение избыточности (Вне диагонали): Мы подталкиваем корреляцию измерения $i$ и измерения $j$ ($i \neq j$) к нулю. Это заставляет разные нейроны в представлении изучать совершенно разную, непересекающуюся информацию о рынке.

Почему Barlow Twins идеальны для трейдинга?

  • Не требуются негативные примеры: Как и BYOL, этот метод избегает поиска пар “ложных негативов”, что жизненно важно в финансах, где внешне совершенно разные графики могут представлять одинаковые скрытые режимы рыночной волатильности.
  • Никакой асимметрии/затрат памяти: Не требует поддержки медленно движущейся EMA “target” сети, экономя память GPU.
  • Ортогональные признаки: Уменьшение избыточности математически гарантирует, что окончательный набор извлеченных признаков будет сильно декоррелирован (ортогонален). Это “Святой Грааль” для линейных моделей и торговых алгоритмов, так как мультиколлинеарность (зависимость предикторов) часто разрушает устойчивость финансовых прогнозов.

Содержание

  • python/model.py: Реализация архитектуры Barlow Twins и функции потерь на основе кросс-корреляции матриц.
  • python/train.py: Цикл обучения без негативных примеров и без асимметричных Target-сетей.
  • python/evaluate.py: Проверка декорреляции сгенерированных признаков.
  • rust/src/: Высокопроизводительный пайплайн на Rust для логического вывода (inference).

Ссылки

  1. Zbontar, J., Jing, L., Misra, I., LeCun, Y., & Deny, S. (2021). Barlow Twins: Self-Supervised Learning via Redundancy Reduction. arXiv:2103.03230.