Целью задачи обнаружения аномалий временных рядов является определение того, является ли каждый сегмент временного ряда аномальным. Сегодняшняя статья — ICLR 2023Использовать в одной статьеBERTРешить временной ряданомальныйобнаружен Работа。Суть заключается в использовании модели BERT в сочетании с генерацией аномальных выборок временных рядов для предварительного обучения, чтобы BERT имел возможность идентифицировать аномальные фрагменты, а затем применять ее для последующих задач обнаружения аномалий временных рядов.。

• Название статьи：ANOMALYBERT: SELF-SUPERVISED TRANSFORMER FOR TIME SERIES ANOMALY DETECTION USING DATA DEGRADATION SCHEME
• Скачать адрес：https://arxiv.org/pdf/2305.04468v1.pdf
• Открытый исходный код：https://github.com/Jhryu30/AnomalyBERT

1. Общая идея

Общая структура модели AnomalyBERT, предложенная в этой статье, показана ниже. общая идея,первый,Для обычного временного ряда,извлечь фрагмент,для этого фрагментаСоздайте аномальные выборки, используя какой-либо метод генерации выбросов.。Следующий,Введите этот аномальный образец в TransformerModel.,Модель получает прогнозируемую структуру оценки аномальных значений для каждого сегмента.,Цель подгонки состоит в том, является ли этот фрагмент аномальной задачей классификации.。После многихданныепосле тренировкиBERT,Он имеет возможность определять, является ли каждый сегмент временного ряда аномальным.

2. Детали модели

Ниже в основном представлены детали модели AnomalyBERT из трех частей: генерации аномальной выборки, структуры модели и методов обучения.

Аномальная генерация выборки,Основная цель – обработка обычного временного ряда в последовательность определенного аномального фрагмента.,Таким образом достигается контролируемое обучение. В статье предложены 4 типа методов построения аномальной выборки:

Soft Replacement：Замените исходные сегменты взвешенной суммой последовательностей за пределами окна.

Uniform Replacement：Замените исходный фрагмент последовательностью постоянных значений.

Peak Noise：Добавить во фрагментаномальныйпик

Length Adjustment：Изменение длины последовательности во фрагменте,Затем заливаем его в исходный фрагмент

Целью построения аномальных данных является главным образом моделирование аномальных последовательностей в реальных сценариях. То, как построены эти данные, оказывает большое влияние на конечный эффект, поэтому необходимо выбрать наиболее подходящий метод построения данных об исключении для последующих задач. Например, все четыре метода построения аномальных данных, упомянутые в этой статье, подразумевают некоторые априорные предположения о форме аномальных данных.

Структура модели,Тело представляет собой конструкцию Трансформера.,на должность В части внедрения статья напрямую добавляет вектор смещения позиции к расчету внимания каждого слоя. Это отличается от BERT, главным образом для улучшения восприятия времени моделью. Временной ряд делится на сегменты и затем вводится в преобразователь, аналогично идее PatchTST. Наконец, каждый сегмент генерирует оценку, чтобы определить, есть ли выбросы в текущем сегменте.

О цели оптимизации,Это задача двух классификаций,Для искусственного сооружения аномальная часть фрагмента,Модель Хоуп получила оценку, близкую к 1. Функция потерь представляет собой простую двоичную кросс-энтропийную потерю.

3. Модельный эффект

На изображениях ниже приведены некоторые наглядные примеры. Первый столбец слева — это временной ряд, красная часть представляет аномальную точку, вверху — исходная последовательность, а внизу — оценка модели для каждого сегмента. Видно, что для аномальных частей оценка прогноза модели явно высока, и она может правильно идентифицировать аномальные сегменты во временном ряду. Второй столбец представляет собой распределение TSNE представления. Представление аномальной части и представление нормальной части могут быть в определенной степени разделены в распределении.

Общие экспериментальные результаты показаны ниже. AnomalyBERT добился результатов, превосходящих предыдущие методы, на нескольких наборах данных.