Глава 180: Ternary Gradient Compression для трейдинга

Обзор

Отправка тысяч обновлений модели через глобальную торговую сеть — это кошмар для пропускной способности. В предыдущей главе мы изучили базовое квантование. Теперь мы внедряем Ternary Gradient Compression (TGC).

TGC сокращает каждое обновление веса всего до одного из трех значений: ${-1, 0, +1}$. Это не только сжимает данные, но и действует как мощный регуляризатор, отфильтровывая рыночный шум.

Адаптивное пороговое значение (Adaptive Thresholding)

Рынки не стоят на месте. Во время событий с высокой волатильностью даже небольшие обновления градиента могут быть критически важными. В спокойном (боковом) рынке большинство обновлений — это просто шум. Наша реализация использует Адаптивный порог:

• Высокая волатильность: Порог снижается, чтобы зафиксировать больше деталей.
• Низкая волатильность: Порог повышается для максимального разрежения и экономии трафика.

Структура проекта

180_fl_gradient_compression/
├── README.md           # Обзор на английском
├── README.ru.md        # Обзор на русском
├── docs/ru/theory.md   # Математические основы
├── python/
│   ├── model.py            # Базовая нейронная сеть
│   ├── ternary_core.py     # Логика TGC и адаптивности
│   └── train.py            # Симуляция: Адаптивное vs. Фиксированное сжатие
└── rust/src/
    └── lib.rs              # Оптимизированный 2-битный движок упаковки