Городское пространственно-временное прогнозирование имеет решающее значение для принятия обоснованных решений, таких как управление дорожным движением, оптимизация ресурсов и реагирование на чрезвычайные ситуации. Несмотря на значительные достижения в области предварительно обученных моделей естественного языка, позволяющие одной модели решать несколько задач, общие решения для пространственно-временного прогнозирования остаются сложными. Существующие методы прогнозирования обычно адаптируются к конкретным пространственно-временным сценариям, требуя разработки модели для конкретной задачи и больших объемов обучающих данных для конкретной предметной области.

Недавно,Команда Университета Цинхуа запускает первую чистую пространственно-временную универсальную модель, не требующую естественного языка UniST,Впервые демонстрируется универсальность и масштабируемость самой Модели чистого пространства-времени.,Результаты исследования были опубликованы перенимателем KDD2024.

Исследовательская группа использовала более 20 наборы пространственно-временных данных, в том числе более 1.3 Миллиарды пространственно-временных точек выборки объединяют обширные городские пространственно-временные данные из нескольких городов, разных полей, различных пространственных подразделений и временных разрешений, а также создают и обучают UniST Такой「one-for-all」универсальный в пространстве и времени Модель。Это в настоящее времяУниверсальная модель городского пространства и времени с широчайшим охватом и сильнейшим единством.。Стоит упомянуть, что,UniST По сравнению с текущей моделью большого языка она имеет то преимущество, что она более легкая и использует только 20M Шкала параметров показывает сильную способность к обучению с нулевой выборкой.

Рисунок 1: UniST реализует универсальное моделирование пространства и времени (один для всех)

Выпуск UniST знаменует собой важный прорыв в универсальной базовой модели в области городского пространства и времени, переводя эту область на новый этап и, как ожидается, будет способствовать развитию умных городов по всему миру. Документ, код и данные этого достижения были обнародованы для использования исследователями и пользователями.

【Название статьи】UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction

[Бумажный адрес]https://arxiv.org/abs/2402.11838

【код&данные Адрес с открытым исходным кодом】https://github.com/tsinghua-fib-lab/UniST

Контратака модели чистого пространства-времени

Пространственно-временное прогнозирование повсеместно распространено в городах. Оно не только фокусируется на транспортных потоках и людях, но также охватывает множество измерений, таких как распределение ресурсов. Однако пространственно-временное предсказание — непростая задача, и модель должна учитывать сложные и динамические пространственно-временные корреляции. Традиционные методы искусственного интеллекта требуют большого объема обучающих данных и знаний предметной области. Как правило, модели можно обучать только для определенных наборов данных. Необходимо обучать несколько моделей для нескольких пространственно-временных сценариев, что особенно сложно, когда городских данных недостаточно.

в то же время,С появлением большого языка Модель,Исследователи начали пытаться использовать «текст» для выполнения задач, связанных с пространством и временем.,Объединение текстового описания с пространственно-временными мультимодальными данными. Однако,существовать, сталкиваясь со сложными временными и пространственными сценариями,Этот метод легко игнорирует большое количество пространственно-временных связей и динамической информации. фактически,Создание пространственно-временных данных существенно не зависит от языка. поэтому,Исследовательская группа Университета Цинхуа выбрала метод, отличный от большого языка Модельнаправление：Опираясь только на данные времени и пространства,Как далеко мы можем зайти? Может ли универсальная Модель пространства-времени храниться как Модель естественного языка?

В частности, исследовательская группа Университета Цинхуа сосредоточилась на обучении чисто пространственно-временной универсальной модели, которая может имитировать два ключевых свойства моделей большого языка (LLM):

1. Иметь широкие возможности расширения для богатых пространственно-временных данных;

2. Как и большие языковые модели, он демонстрирует высокую универсальность и возможности обобщения.

Стоит упомянуть, что,чистое пространство-время Модель Интуиция позади：существуют под воздействием человека,Существуют различные временные и пространственные данные, существуют универсальные законы функционирования города.,Обучение можно проводить аналогично GPT.

Проблема универсального пространственно-временного моделирования

01

Формат пространственно-временных данных не является единообразным.

При обработке естественного языка данные обычно представлены в едином формате последовательности 1D; в компьютерном зрении, будь то изображения или видео, они также соответствуют относительно стандартному формату. Однако пространственно-временные данные в разных пространственно-временных сценариях, таких как разные города и разные поля, имеют очевидные различия в форме данных и пространственно-временном разрешении из-за разных сборщиков данных и методов сбора. Такое разнообразие чрезвычайно затрудняет единообразную обработку и анализ пространственно-временных данных.

02

Распределение данных разных пространственно-временных сцен сильно различается.

Пространственно-временные данные в разных городах, разных географических пространствах и в разные периоды времени часто показывают значительные различия в распределении. Кроме того, существуют значительные различия в распределении данных в различных областях, таких как данные о загрязнении воздуха, данные о дорожном движении, данные о потоках людей и данные базовых станций сети. Эти различия увеличивают сложность модели и требуют, чтобы модель имела сильные возможности обобщения для адаптации к различным распределениям данных.

Как построить универсальную модель чистого пространства-времени

Хотя большие языковые модели напрямую не используются, успешный опыт LLM нельзя игнорировать. Отталкиваясь от идеи LLM, исследовательская группа добилась следующих ключевых особенностей:

• Иметь возможность расширяться в различных условиях;
• Предварительное обучение с самоконтролем полностью фиксирует сложные пространственно-временные корреляции;
• Гибкое обобщение с помощью подсказок.

В отличие от существующих моделей пространства-времени, UniST добился прорыва в следующих аспектах:

• Гибкая адаптация к разнообразным пространственно-временным характеристикам данных:UniST Он может справиться с разнообразным временем и пространством в разных городах и разных областях и создать действительно единую и универсальную Модель. Будь то данные о дорожном движении, данные о потоках людей или данные о распределении городских ресурсов, UniST Может гибко реагировать , демонстрируя сильную масштабируемость.
• Эффективное генеративное предварительное обучение:Благодаря продуманным стратегиям маскировки,UniST Он может фиксировать сложные пространственно-временные отношения и достигать комплексного многомерного пространственно-временного моделирования.
• Советы по ведению знаний о времени и пространстве:использовать Подсказки о времени и пространстве, основанные на знаниях,UniST Способность согласовывать и использовать внутренние общие знания в различных сценариях для улучшения прогнозов. Благодаря этому механизму подсказок UniST Он может поддерживать эффективные возможности прогнозирования даже в ограниченных или совершенно новых сценариях.

Рисунок 2. Архитектура UniST, пространственно-временное предварительное обучение и быстрая точная настройка на основе знаний.

Последовательное моделирование пространственно-временных данных

Для эффективной обработки пространственно-временных данных из разных источников и разных характеристик UniST предлагает метод моделирования, называемый «пространственно-временной последовательностью». В частности, пространственно-временные данные представлены в виде четырехмерного тензора: T × C × H × W, где T представляет количество периодов времени, C представляет количество переменных, а H и W представляют количество сеток широты и долготы в пространственное деление соответственно.

Чтобы единообразно обрабатывать эти различные формы пространственно-временных данных, UniST представляет пространственно-временной кодер, который преобразует эти четырехмерные тензоры в небольшие трехмерные векторы, а затем расширяет их в последовательности в соответствии с их положением. Как только богатые пространственно-временные данные будут представлены в общем формате этой «пространственно-временной последовательности», мощные возможности моделирования последовательностей Transformer можно использовать для обучения модели полному отражению сложных пространственно-временных отношений.

После получения «пространственно-временной последовательности» UniST совершенствует свои возможности моделирования посредством генеративного предварительного обучения. В процессе предварительного обучения исследовательская группа использовала различные стратегии маскировки, надеясь помочь модели лучше понять и уловить пространственно-временные отношения. В частности, UniST представляет следующие стратегии маскировки:

• Случайная маскировка:Похоже на: MAE Стратегия случайного маскирования в фиксирует детальные пространственно-временные отношения путем случайного маскировки пространственно-временных блоков данных.
• Маскировка трубки:Имитировать определенные пространственные единицысуществоватьза все периоды времениданные Отсутствует условие,Улучшите возможности пространственной экстраполяции Модели.
• Маскировка блока:Более сложный способ маскировки.,Замаскировав весь блок пространства, блок данных существует во все периоды времени.,Расширьте возможности пространственной миграции Моделисуществовать в условиях ограниченной контекстной информации.
• Временная маскировка:освещая будущееданные,Полагайтесь на историческую информацию только для реконструкции.,Цель существования улучшает способность Модели улавливать временные зависимости от прошлого к будущему.

Благодаря этим стратегиям маскировки UniST систематически расширяет свою способность фиксировать пространственно-временные отношения с разных точек зрения на этапе предварительного обучения, не только улучшая эффективность обобщения модели, но и значительно снижая ее зависимость от больших объемов размеченных данных.

Подсказки о времени и пространстве, основанные на знаниях

В UniST механизм подсказки (подсказка) является ключом к улучшению обобщающей способности модели. Чтобы поддерживать эффективное прогнозирование в различных пространственно-временных сценариях, UniST разработала сеть подсказок, основанную на пространственно-временных знаниях. Сеть подсказок использует известные знания о пространственно-временной области для генерации информации подсказок, которая помогает модели понимать и прогнозировать.

В частности, сеть подсказок генерирует подсказки на основе следующих четырех аспектов пространственно-временных знаний:

• Пространственная близость:Соседние пространственные единицы могут влиять друг на друга；
• Пространственная иерархия:Иерархическая организация городских структур влияет на пространственно-временную динамику.；
• Близость времени:Недавнодинамика повлияет на будущие результаты；
• Периодичность времени:Подобные закономерности на ежедневной или еженедельной основе могут повлиять на будущие периодические результаты.。

Как показано на рисунке ниже, сеть сигналов извлекает полезные подсказки из пулов памяти, в которых хранятся оптимизированные знания пространственно-временной области. Процесс генерации подсказок использует пространственно-временное представление признаков в качестве запроса для извлечения соответствующих векторов памяти. Эти векторы подсказок затем интегрируются во входное пространство архитектуры Transformer, чтобы улучшить способность прогнозирования модели.

Рисунок 3: Пространственно-временная сеть подсказок

Результаты экспериментов

существовать 15 города и 6 В обширных экспериментах в различных областях UniST Демонстрирует свою превосходную универсальность и мощные прогностические возможности. Особенно в сценариях с малым количеством выборок и нулевыми выборками UniST Производительность превосходна, а точность пространственно-временного прогнозирования значительно повышена. Результаты экспериментовпоказывать,UniST превосходит текущую современную базовую модель по нескольким задачам.,Он доказал свою высокую адаптируемость к разным городам и местам.

• Обучение за несколько кадров:существоватьтренироватьсяданныепри ограниченных обстоятельствах,UniST По-прежнему способен давать весьма точные прогнозы.
• Обучение с нулевым выстрелом:существовать Модель В сцене времени и пространства, которую никогда раньше не видели,UniST по-прежнему демонстрирует отличные прогнозы производительности,Даже превосходит большинство контролируемых методов обучения.
• Широкая применимость:существоватьпрогноз трафика、Прогнозирование потока толпы、Распределение ресурсов и другие задачи,UniST Все они продемонстрировали свои сильные прогностические возможности и применимость.

Таблица 1. Сравнение эффективности прогнозирования на основе базовых моделей на нескольких данных

Рисунок 4: (a) сценарий с малой выборкой (b) эффективность сценария с нулевой выборкой;

Исследователи провели углубленный анализ роли механизма подсказки. существует пул временной памяти,Они изучили закономерности памяти каждого вектора.,В зависимости от веса вектора, индексируемого набором данных.,Результат агрегирования данных набора выборочных значений существовать на этом векторе. Рисунок 5(а) и рисунок 5(б). Два набора данных (толпа и TrafficSH). можно увидеть,Паттерны памяти, представленные в механизме подсказок, показали поразительную согласованность в различных городских сценах. Это не только подтверждает, что каждый вектор памяти хорошо оптимизирован для запоминания уникальных пространственно-временных паттернов.,Также была продемонстрирована надежность пула пространственной и временной памяти, существующего в различных сценариях.

Рисунок 5: Сравнение различных наборов данных существующих векторных шаблонов памяти (высокая согласованность)

дальше,Исследовательская группа проанализировала использование векторов памяти (полученных пространственно-временных сигналов) в двух разных сценариях. Конкретно,они рассчиталисуществоватькаждыйданныеустановить контексткаждый Средний вес внимания вектора。картина6(c) и Рисунок 6(г) Показаны результаты сравнения. Распределение веса внимания двух наборов данных показывает существенные различия. Уникальность наблюдаемого распределения веса внимания предполагает, что модель способна динамически корректировать шаблоны памяти, на которых она фокусируется, на основе характеристик входных данных. Эта способность динамически регулировать вес внимания повышает UniST Модельсуществовать Адаптация и обобщение на разных наборах данных.

Рисунок 6. Сравнение пространственно-временных результатов различных наборов данных (большие различия).

Эти Результаты экспериментовпоказывать,UniST С помощью механизма существования подсказки можно эффективно фиксировать и использовать важные пространственно-временные отношения в различных пространственно-временных сценах. Этот инновационный метод позволяет. UniST существуют хорошо зарекомендовавшие себя в работе со сложным и изменчивым временем и пространством, продемонстрировав свою высокую адаптируемость и широкий потенциал применения.

Заключение

существуют в этой работе,Исследователи решили важную проблему,То есть построить общую Модель UniST для городского пространственно-временного прогнозирования.

UniST Интегрируя несколько городов Многодоменные данные пространства-времени с использованием Transformer архитектура и уникальная пространственно-временная маска (маска) и Подсказки о времени и пространстве, основанные на знаний(подсказки) реализует единое моделирование и точный прогноз разнообразной пространственно-временной динамики города. существования Эксперимент, Юни СТ Продемонстрировал свою выдающуюся производительность в различных сценариях городских приложений, таких как управление дорожным движением и ресурсами, особенно в различных сценариях. В этом прогнозе (нулевой выстрел) его производительность превышает базовый метод с несколькими выстрелами, демонстрируя высокую универсальность и возможности обобщения. Исследовательская группа продолжит изучение UniST потенциал,Мы с нетерпением ожидаем будущих исследований для дальнейшего улучшения адаптируемости Модели.,Выведите городское пространство и время на новый этап, более интеллектуальный и эффективный.