Глава 225: Сертифицированная робастность

Введение

В машинном обучении для трейдинга модели работают в состязательных средах, где входные данные по своей природе зашумлены, подвержены манипуляциям и склонны к быстрым сдвигам распределений. Традиционная оценка робастности основывается на эмпирическом тестировании: мы атакуем модель возмущениями и наблюдаем, меняются ли предсказания. Но эмпирическая робастность не даёт формальных гарантий. Модель, которая выдержала 10 000 состязательных атак, может катастрофически отказать на атаке 10 001.

Сертифицированная робастность предлагает принципиально иную парадигму. Вместо тестирования против конечного набора возмущений сертифицированная робастность даёт доказуемые математические гарантии того, что предсказания модели останутся неизменными при любом возмущении в пределах заданной границы. Для торговой системы это означает, что мы можем формально доказать, что сигнал покупки/продажи не изменится, когда рыночные цены колеблются в определённом диапазоне шума.

Это различие чрезвычайно важно в финансах. Регуляторные рамки всё чаще требуют объяснимости и надёжности от систем алгоритмической торговли. Гарантия сертифицированной робастности превращает валидацию модели из вероятностного упражнения в детерминированное доказательство. Когда регулятор спрашивает «Как вы знаете, что ваша модель не будет принимать хаотичные решения в условиях рыночного стресса?», сертифицированная робастность даёт математический сертификат, а не эмпирическую надежду.

Ключевой вопрос, на который отвечает сертифицированная робастность: для данного входа x и классификатора f, каков наибольший радиус возмущения r, такой что для всех x' в пределах расстояния r от x выполняется f(x') = f(x)? Этот радиус называется сертифицированным радиусом и обеспечивает гарантию стабильности для каждого предсказания.

Математические основы

Рандомизированное сглаживание

Рандомизированное сглаживание, предложенное Коэном и соавторами (2019), является наиболее масштабируемым методом сертифицированной защиты. Ключевая идея — преобразовать любой базовый классификатор f в сглаженный классификатор g путём усреднения по гауссовому шуму:

g(x) = argmax_c P(f(x + epsilon) = c), где epsilon ~ N(0, sigma^2 * I)

Сглаженный классификатор g возвращает класс, который с наибольшей вероятностью предсказывается при добавлении гауссова шума ко входу. Замечательное свойство состоит в том, что g доказуемо робастен: если g классифицирует x как класс c_A с вероятностью p_A, а класс-претендент имеет вероятность p_B, то g сертифицированно робастен в радиусе:

R = (sigma / 2) * (Phi^{-1}(p_A) - Phi^{-1}(p_B))

где Phi^{-1} — обратная функция стандартного нормального CDF. В двуклассовом случае это упрощается до:

R = sigma * Phi^{-1}(p_A)

Лемма Неймана-Пирсона

Вывод сертифицированного радиуса опирается на лемму Неймана-Пирсона из теории проверки гипотез. Лемма утверждает, что критерий отношения правдоподобия является наиболее мощным критерием при любом заданном уровне значимости. В контексте сертифицированной робастности:

Для двух гипотез о распределении f(x + epsilon) — одной с центром в x и другой с центром в x + delta — лемма Неймана-Пирсона указывает наихудшую массу вероятности, которая может перейти от класса c_A к другому классу при возмущении delta. Это даёт наиболее точную границу для сертифицированного радиуса.

Формально, если P(f(x + epsilon) = c_A) >= p_A, где epsilon ~ N(0, sigma^2 I), то для любого ||delta||_2 <= R:

P(f(x + delta + epsilon) = c_A) >= Phi(Phi^{-1}(p_A) - R/sigma)

Сертифицированный радиус — это наибольшее R, при котором эта вероятность превышает 0.5.

Липшицева непрерывность

Альтернативная математическая структура использует непрерывность по Липшицу. Функция f является L-липшицевой, если:

||f(x) - f(x')|| <= L * ||x - x'||

Если мы можем ограничить константу Липшица нейронной сети, мы можем напрямую сертифицировать робастность. Для сети с весовыми матрицами W_1, ..., W_k константа Липшица ограничена:

L <= произведение(||W_i||_2, i=1..k)

где ||W_i||_2 — спектральная норма W_i. Эта граница часто неточна, но вычислительно дёшева.

Оценка доверительных интервалов

На практике мы не можем вычислить p_A точно — мы оцениваем его путём сэмплирования. Мы берём n выборок f(x + epsilon) и используем доверительные интервалы биномиальной пропорции. Интервал Клоппера-Пирсона даёт нижнюю границу p_A_lower для p_A на уровне доверия 1 - alpha:

p_A_lower = Beta(alpha; k, n - k + 1)

где k — количество выборок, классифицированных как c_A. Сертифицированный радиус вычисляется с использованием p_A_lower вместо p_A, гарантируя, что гарантия выполняется с вероятностью не менее 1 - alpha.

Методы сертификации

Рандомизированное сглаживание (Cohen et al., 2019)

Рандомизированное сглаживание — наиболее практичный метод сертификации глубоких сетей. Процедура состоит из двух фаз:

1. Предсказание: Выборка n_0 зашумлённых копий входа, голосование большинством для определения предсказанного класса c_A.
2. Сертификация: Выборка n зашумлённых копий, подсчёт предсказаний c_A, вычисление нижней доверительной границы p_A_lower, затем вычисление сертифицированного радиуса R = sigma * Phi^{-1}(p_A_lower).

Преимущества: работает с любым базовым классификатором, масштабируется на большие сети, обеспечивает l_2 сертифицированную робастность. Ограничения: сертификация вероятностна (выполняется с доверием 1 - alpha), точность снижается при большем sigma, требует много прямых проходов.

Распространение интервальных границ (IBP)

IBP распространяет интервальные границы послойно через нейронную сеть. Для данных границ входа [x_l, x_u]:

Для линейного слоя y = Wx + b:

y_l = W_pos * x_l + W_neg * x_u + b
y_u = W_pos * x_u + W_neg * x_l + b

где W_pos = max(W, 0) и W_neg = min(W, 0).

Для ReLU: y_l = max(x_l, 0), y_u = max(x_u, 0).

IBP даёт детерминированные (не вероятностные) границы, но они часто очень неточны, что приводит к консервативным сертифицированным радиусам.

CROWN (Zhang et al., 2018)

CROWN (Convex Relaxation based perturbation analysis of Neural Networks) обеспечивает более точные границы, чем IBP, используя линейные релаксации. Вместо распространения интервалов CROWN распространяет линейные границы:

A_l * x + b_l <= f(x) <= A_u * x + b_u

Для активаций ReLU, CROWN использует выпуклую релаксацию: когда x_l < 0 < x_u, ReLU ограничивается линейной верхней границей, соединяющей (x_l, 0) с (x_u, x_u), и оптимизированной линейной нижней границей.

CROWN обеспечивает более точные сертифицированные радиусы, чем IBP, при более высокой вычислительной стоимости, что делает его подходящим для небольших сетей, типичных для торговых приложений.

Линейная релаксация

Методы линейной релаксации обобщают подход CROWN. Они заменяют нелинейные функции активации линейными верхними и нижними границами, преобразуя задачу сертификации в линейную программу (LP). LP может быть решена эффективно, и её решение даёт корректные сертифицированные границы.

Для торговых сетей, которые обычно меньше моделей компьютерного зрения, сертификация на основе LP вычислительно осуществима и обеспечивает отличное качество границ.

Применения в трейдинге

Гарантированная стабильность предсказаний при рыночном шуме

Финансовые данные по своей природе зашумлены. Тиковые ценовые данные содержат шум микроструктуры, отскок бид-аск и ошибки измерений. Торговый сигнал, который переключается между покупкой и продажей из-за изменения цены на 0.01%, ненадёжен и опасен.

Сертифицированная робастность позволяет гарантировать стабильность торгового сигнала при реалистичных уровнях шума. Например, если мы сертифицируем, что сигнал покупки для BTCUSDT имеет сертифицированный радиус 0.5 стандартных отклонений, мы знаем, что любое движение цены в этом диапазоне не изменит сигнал.

Практический рабочий процесс:

1. Оценить уровень шума в рыночных данных (например, дисперсию шума микроструктуры)
2. Обучить базовый классификатор для торговых сигналов
3. Применить рандомизированное сглаживание с sigma, соответствующим уровню шума
4. Сертифицировать каждое предсказание — выполнять сделки только с сертифицированным радиусом, превышающим уровень шума

Этот подход естественно отфильтровывает предсказания с низкой уверенностью, улучшая общее качество торговых сигналов.

Регуляторное соответствие для робастности моделей

Финансовые регуляторы (SEC, FCA, MAS) всё более пристально проверяют системы алгоритмической торговли. MiFID II в Европе требует от фирм наличия «эффективных систем и контроля рисков» для алгоритмической торговли. Сертифицированная робастность предоставляет количественную основу для демонстрации надёжности модели:

• Валидация модели: Каждое предсказание сопровождается сертифицированным радиусом, обеспечивая аудируемую меру надёжности.
• Стресс-тестирование: Вместо прогона сценариев сертифицированная робастность аналитически предоставляет гарантии наихудшего случая.
• Документация: Математический сертификат может быть включён в документацию модели как доказательство робастности.

Сертифицированные границы риска

Помимо стабильности сигналов, сертифицированная робастность может применяться к моделям риска. Если модель Value-at-Risk (VaR) имеет сертифицированный радиус r во входном пространстве, мы можем ограничить наихудшее изменение оценок VaR при возмущениях входных данных. Это даёт риск-менеджерам формальные гарантии чувствительности модели.

Для оптимизации портфеля сертифицированная робастность предсказаний ожидаемой доходности транслируется в границы того, насколько может измениться оптимальный портфель при возмущениях данных, решая хорошо известную проблему нестабильности оптимизации среднего-дисперсии.

Сертификация против эмпирической робастности

Аспект	Сертифицированная робастность	Эмпирическая робастность
Гарантия	Математическое доказательство	Статистическое свидетельство
Покрытие	Все возмущения в радиусе	Только протестированные возмущения
Вычислительная стоимость	Выше (сэмплирование или распространение границ)	Ниже (конечный набор атак)
Точность	Может быть консервативной	Может быть точной, но неполной
Масштабируемость	Умеренная (рандомизированное сглаживание масштабируется хорошо)	Высокая
Регуляторная ценность	Высокая (доказуемая)	Умеренная (наилучшее усилие)

Преимущества сертифицированной робастности:

• Предоставляет доказуемые гарантии, а не только эмпирические свидетельства
• Ни один противник не может найти атаку в пределах сертифицированного радиуса
• Сертификаты по предсказаниям позволяют выборочное исполнение
• Высокая регуляторная и комплаенс-ценность

Ограничения сертифицированной робастности:

• Сертифицированная точность всегда ниже стандартной точности
• Границы могут быть консервативными (особенно IBP)
• Рандомизированное сглаживание требует много прямых проходов
• Сертифицирует только против l_p возмущений, не против всех возможных атак
• Компромисс между сертифицированным радиусом и точностью (больший sigma даёт больший радиус, но меньшую чистую точность)

На практике лучший подход сочетает оба метода: сертифицированную робастность для формальных гарантий и эмпирическое тестирование робастности для практической валидации.

Описание реализации

Наша реализация на Rust предоставляет основные строительные блоки для сертифицированной робастности в трейдинге:

Архитектура

Реализация состоит из нескольких ключевых компонентов:

1. Базовый классификатор (SimpleNeuralNetwork): Нейронная сеть прямого распространения с настраиваемой архитектурой, служащая базовым классификатором для рандомизированного сглаживания.

2. Рандомизированное сглаживание (SmoothedClassifier): Оборачивает базовый классификатор и реализует:

   • predict(): Голосование большинством по зашумлённым выборкам для робастного предсказания
   • certify(): Вычисление сертифицированного радиуса по границе Неймана-Пирсона
   • Настраиваемый уровень шума (sigma) и количество выборок

3. Сертификация IBP (IBPCertifier): Реализует распространение интервальных границ для детерминированной сертификации простых сетей.

4. Доверительные интервалы: Биномиальные доверительные интервалы Клоппера-Пирсона для строгих статистических границ вероятностей классов.

5. Интеграция с Bybit: Получение реальных данных BTCUSDT через публичный API Bybit для реалистичного построения признаков.

Ключевые детали реализации

Сертификация рандомизированного сглаживания следует этой процедуре:

// 1. Выборка n зашумлённых копий и подсчёт классификаций
for _ in 0..n_samples {
    let noisy_input = add_gaussian_noise(&input, sigma);
    let prediction = base_classifier.predict(&noisy_input);
    counts[prediction] += 1;
}

// 2. Нахождение лучшего класса и вычисление нижней доверительной границы
let top_class = argmax(&counts);
let p_lower = clopper_pearson_lower(counts[top_class], n_samples, alpha);

// 3. Вычисление сертифицированного радиуса
let certified_radius = sigma * normal_ppf(p_lower);

Сертифицированный радиус R гарантирует, что никакое возмущение в пределах l_2 расстояния R не может изменить предсказание.

Запуск примера

cd rust
cargo run --example trading_example

Торговый пример:

1. Получает данные BTCUSDT из Bybit
2. Конструирует признаки (доходности, волатильность, моментум)
3. Обучает базовый классификатор на торговых сигналах
4. Применяет рандомизированное сглаживание при различных значениях sigma
5. Выводит сертифицированную точность при различных радиусах
6. Сравнивает метрики сертифицированной и эмпирической робастности

Интеграция данных Bybit

Реализация получает реальные рыночные данные из API Bybit V5:

GET https://api.bybit.com/v5/market/kline?category=linear&symbol=BTCUSDT&interval=60&limit=200

Признаки, извлечённые из данных свечей:

• Логарифмические доходности: ln(close_t / close_{t-1})
• Волатильность: Скользящее стандартное отклонение доходностей
• Моментум: Кумулятивная доходность за период ретроспекции
• Отношение объёма: Текущий объём относительно скользящего среднего

Эти признаки нормализуются и подаются в базовый классификатор. Сертифицированный радиус выражается в терминах нормализованного пространства признаков, что позволяет интерпретировать его как «насколько могут измениться признаки до того, как сигнал изменится».

Ключевые выводы

1. Сертифицированная робастность предоставляет математические гарантии стабильности предсказаний модели при ограниченных возмущениях, в отличие от эмпирической робастности, которая тестирует лишь конечные наборы атак.

2. Рандомизированное сглаживание — наиболее практичный метод сертификации глубоких сетей, работающий с любым базовым классификатором и обеспечивающий l_2 сертифицированную робастность.

3. Сертифицированный радиус количественно оценивает надёжность предсказания — больший радиус означает более стабильное предсказание, что позволяет выборочно исполнять сделки на основе уровня сертификации.

4. IBP и CROWN обеспечивают детерминированные границы, подходящие для небольших сетей, типичных для трейдинга, с различными компромиссами между точностью и вычислительной стоимостью.

5. Торговые применения включают стабильность сигналов, регуляторное соответствие и сертификацию границ риска — все области, где доказуемые гарантии ценнее эмпирических свидетельств.

6. Существует фундаментальный компромисс между сертифицированным радиусом и чистой точностью: увеличение уровня шума sigma расширяет сертифицируемую область, но снижает базовую точность.

7. Сочетание сертифицированной и эмпирической робастности даёт наиболее сильную валидацию: сертифицированные методы для формальных гарантий и эмпирические методы для практического стресс-тестирования.

8. Сертификаты по предсказаниям позволяют интеллектуальную фильтрацию — выполнять сделки только тогда, когда сертифицированный радиус превышает ожидаемый уровень шума в рыночных данных, естественно улучшая качество сигналов.