Всем привет, мы снова встретились, я ваш друг Цюаньчжаньцзюнь.

1 SVRфон

2 Принцип СВР

3 Математическая модель СВР

1. Фон СВР СВР был предложен как ответвление СВМ. На рисунке показана связь между СВР и СВМ.

Геометрический интервал между двумя пунктирными линиями здесь равен r = d ∣ ∣ W ∣ ∣ \frac{d}{||W||} ∣∣W∣∣d​, где d — функциональный интервал между двумя пунктирными линиями. (Одна картинка для понимания функциональных интервалов и геометрических интервалов)

Здесь r рассчитывается на основе формулы расстояния между двумя параллельными линиями.

1. Принцип СВР

Разница между УВО и общей линейной регрессией

Принцип: SVR создает «интервальную зону» по обе стороны от линейной функции с интервалом ϵ \epsilon ϵ (также называемое отклонением допуска, которое представляет собой эмпирическое значение, устанавливаемое вручную. Все образцы, попадающие в интервальную зону, не затрагиваются). Рассчитайте потери, то есть только вектор поддержки будет влиять на его функциональную модель, и, наконец, оптимизированная модель получается путем минимизации общих потерь и максимизации интервала.

Примечание. Вот введение в значение опорного вектора: Интуитивно понятное объяснение: опорный вектор — это выражение конечного w.,bРасчет играет роль в образце（a>0）

Как показано на рисунке ниже, Выборки в «конвейере» соответствуют a=0, который не является опорным вектором; роды“стенка трубы”вектор опоры границы,0<a< ϵ \epsilon ϵ роды”трубопровод”Те, что снаружи, являются неграничными опорными векторами.,a> ϵ \epsilon ϵ (при обнаружении аномалий часто выбираются аномальные точки из неграничных опорных векторов)

1. Математическая модель СВР

3.1 Линейная жесткая маржа SVR

3.2 Линейный мягкий запас SVR Причина: в реальных задачах часто бывает трудно напрямую определить подходящее ϵ \epsilon ϵ, чтобы гарантировать, что большая часть данных может находиться в интервале интервала, и SVR надеется, что все обучающие данные будут находиться в пределах интервала интервала, поэтому резерв добавляется переменная ξ \xi ξ, тем самым ослабляя требования к интервалу функции, то есть позволяя некоторым выборкам находиться за пределами диапазона интервалов.

После введения слабых переменных в это время все выборочные данные соответствуют условиям:

Это условие ограничения после отображения слабой переменной, поэтому его также называют — Soft Margin SVR.

Примечание. Для любого образца xi, если он находится внутри зоны изоляции или на ее границе, ξ \xi ξ все 0 выше зоны изоляции, они есть; ξ > 0 , ξ ∗ = 0 \xi>0,\xi^*=0 ξ>0,ξ∗=0 Под изоляционным поясом находится ξ ∗ > 0 , ξ = 0 \xi^*>0,\xi=0 ξ∗>0,ξ=0

Вывод параметра: Метод множителей Лагранжа (может превратить ограничения в уравнения без ограничений)

Пусть u i ⩾ 0 , u i ∗ ⩾ 0 , a i ⩾ 0 , a i ∗ ⩾ 0 u_i\geqslant0,u^*_i\geqslant0,a_i\geqslant0,a^*_i\geqslant0 ui​⩾0, ui∗​⩾0, ai​⩾0, ai∗​⩾0 — коэффициенты Лагранжа Построим функцию Лагранжа:

3.3 Нелинейность (отображение, функция ядра)

Вдохновение: увеличьте размерность, сопоставьте низкие размеры с большими (нелинейными с линейными).

Предыдущая низкоразмерная модель данных SVR появилась в виде внутреннего продукта xi*xj:

Это определяет низкоодельное до высокого уровня картирования φ \ varphi φ: для замены предыдущей формы внутреннего накопления:

Представляет внутренний продукт после сопоставления с многомерным пространством признаков.

Сопоставление с многомерными задачами: 2 измерения могут быть сопоставлены с 5 измерениями Но когда низкое измерение равно 1000, отображается в сверхвысоком измерении, внутренний продукт компьютера имеет характеристики В это время количество операций от низкой размерности к высокой увеличится взрывным образом.

Поскольку размерность пространства признаков может быть очень высокой или даже бесконечной, прямой расчет Φ ( x i ) T Φ ( x j ) \varPhi(x_i)^T\varPhi(x_j) Φ(xi​)TΦ(xj​) обычно сложно, здесь нам нужно спроектировать функцию ядра

Результаты показывают, что: результат вычисления функции ядра в низком измерении такой же, как результат внутреннего продукта после преобразования в высокое измерение.

Основные изменения: нелинейное преобразование, в основном путем изменения пространства внутреннего продукта и замены его другим пространством функций ядра, тем самым преобразуя его в другое линейное пространство.

Грандиозный внешний вид функции ядра: функция ядра является расширением пространства векторных внутренних произведений, так что задачу нелинейной регрессии можно превратить в приближенную задачу линейной регрессии после преобразования функцией ядра.

1. Практические случаи

Обновление поколения. . . . . . .

Издатель: Лидер стека программистов полного стека, укажите источник для перепечатки: https://javaforall.cn/134863.html Исходная ссылка: https://javaforall.cn