Автор | Твилли (авторизовано) Организация | https://zhuanlan.zhihu.com/p/686458569
Это первый обзор, составленный как отправная точка для углубленных исследований в этом направлении. Она не должна быть такой подробной и всеобъемлющей, как у ИИ, но в этой статье в основном собраны некоторые полезные для меня моменты во время чтения, чтобы я мог заархивировать и просмотреть детали в будущем.
Автор этой статьи очень четко описал конкретную структуру и особый дизайн статьи, поэтому в разделе «Обзор существующих методов исследования» я в основном написал обзор идей существующих методов исследования. небольшой обзор обзора. Для тех, кто новичок в этой области, вы можете прочитать этот обзор без особого напряжения~
По моему опыту я знаком с GNN, но еще не очень хорошо знаком с системой рекомендаций, поэтому я практически пропустил детали, связанные с GNN. Если у вас есть какие-либо вопросы, вы можете оставить сообщение в области комментариев для связи. Позже мы постепенно будем восполнять пробелы и разбирать базовые знания в статьях, чтобы учиться вместе.
Это непросто организовать, надеюсь, вам и мне в будущем понравится читать~
Название диссертации:Обзор графовых нейронных сетей для рекомендательных систем: проблемы, методы и направления
Информация журнала: ACM, 2023.
Авторское учреждение:
В этой статье представлены и анализируются разработки рекомендательных систем и графовых нейронных сетей, обобщаются и классифицируются последние работы по нескольким основным аспектам существующих работ и, наконец, обсуждаются некоторые открытые вопросы.
Среди них данная статья классифицируется следующим образом:
Следующее будет разделено на три основные части, а именно: Рекомендационная часть системы, Часть нейронной сети графа и существующие исследования.
Разработка рекомендательных системы можно разделить на три стадии: мелкая models -> neural network-based models -> GNN модели. в:
Самая ранняя система рекомендаций использовала совместную фильтрацию (CF) для расчета сходства между пользователями и элементами. Впоследствии на этой основе были предложены такие методы, как матричная факторизация (МФ) и факторизационная машина.
Недостатки: Невозможно обрабатывать сложное поведение пользователя и ввод данных.
Чтобы решить проблему недостаточного обучения представлению простых сетей, исследователи предложили нейронную совместную фильтрацию (NCF) и машину глубокой факторизации (DeepFM), которые фактически объединяют нейронные сети с ранее упомянутыми CF и FM.
Недостатки: по-прежнему не учитывается структурная информация высокого порядка данных. (Обратите внимание, что на предпочтения пользователей также могут влиять друзья друзей)
Преимущества GNN можно легко использовать в рекомендательных системах. В рамках структуры распространения сообщений каждый узел может получать информацию о соседях высокого порядка, а информация о структурированных данных также может быть стимулирована с большей жизнеспособностью. Тем не менее, в конкретных приложениях все еще существуют серьезные проблемы:
В этой статье в основном обсуждается социальная рекомендация, последовательная рекомендация (последовательная recommendation)、рекомендация сеанса, рекомендация пакета (buddle recommendation)、Междоменная рекомендация (междоменная рекомендация)、Многоповеденческая рекомендация Эти шесть рекомендуемых сценариев. Здесь дано лишь краткое объяснение понятий.
В рекомендательных системах с социальными сценариями на выбор пользователей будут влиять не только их собственные предпочтения, но и социальные факторы. Социальные факторы здесь можно разделить на два типа: один — социальное влияние, просто потому, что оно нравится вашим друзьям, значит, оно понравится и вам; другой — социальная гомофилия, например, вкусовые привычки в семье сойдутся.
Поэтому в социальных рекомендациях эти социальные отношения обычно интегрируются в систему рекомендаций, чтобы улучшить конечную производительность модели. Поэтому то, как моделировать влияние социальных отношений, является ключевым вопросом, который необходимо учитывать при социальных рекомендациях.
Рекомендация по последовательности состоит в том, чтобы выявить возможные точки интереса пользователя на основе исторической последовательности поведения пользователя, а затем спрогнозировать следующее возможное интерактивное поведение. В настоящее время возникают две основные проблемы: во-первых, точки интереса пользователя будут разделены на краткосрочные, долгосрочные, динамические точки интереса и т. д., а процесс рекомендаций может включать одновременное моделирование различных точек интереса; во-вторых, согласно рекомендации по последовательности, один и тот же элемент может появляться в разных последовательностях, или один и тот же пользователь может соответствовать нескольким различным последовательностям. В это время при выполнении обучения представления для узлов следует учитывать эти совпадающие/связанные сигналы.
Под «сеансом» в системе диалоговых рекомендаций понимается взаимодействие между пользователем и системой в течение определенного периода времени, которое также можно понимать как «короткую последовательность». Рекомендация сеанса — спрогнозировать следующее возможное поведение при взаимодействии только на основе краткосрочных данных о взаимодействии.
По сравнению с рекомендацией последовательности, рекомендация сеанса будет уделять больше внимания недавнему поведению пользователя и динамическим изменениям интересов. В этом сценарии долгосрочные предпочтения среднестатистического пользователя совершенно неизвестны (или игнорируются). В это время система может быстро реагировать на последнее поведение пользователя и своевременно корректировать стратегию рекомендаций для удовлетворения текущих потребностей пользователя. . Самое распространенное применение — персональные рекомендации в каждом приложении.
Цель комплексных рекомендаций — рекомендовать пользователям на выбор подходящий набор портфелей проектов. Например, музыкальный плейлист, полный набор рекомендаций по экипировке, планы сочетания лекарств и т. д.
Междоменные рекомендации будут в полной мере использовать корреляцию между доменами и могут облегчить проблемы холодного запуска и разреженности данных. В зависимости от направления потока информации между доменами междоменные рекомендации можно разделить на CDR с одной целью (STCDR) от исходного домена к целевому домену, CDR с двумя целями (DTCDR), где исходный домен и целевой домен взаимодействовать друг с другом и продвигать многоцелевую CDR DTCDR (MTCDR).
Многоповеденческая рекомендация дополнительно учитывает поведенческую информацию пользователя при выборе товаров. Если взять в качестве примера покупку товаров, объем просмотренных пользователем, сборов, обмена и других поведенческих данных намного превышает покупательское поведение пользователя. Целью рекомендации с несколькими вариантами поведения является объединение нескольких вариантов поведения для улучшения эффекта рекомендации целевого поведения (например, покупки).
В конкретном процессе рекомендации нескольких вариантов поведения может возникнуть необходимость учитывать различия во влиянии различных вариантов поведения на целевое поведение, которое связано с самим поведением и поведенческими предпочтениями пользователя. Кроме того, в процессе обучения представлению также может потребоваться учитывать семантическую информацию о различных вариантах поведения.
Точность
Один из самых основных показателей
Разнообразие
Разнообразие подразделяется на индивидуальное разнообразие и системное разнообразие. Индивидуальное разнообразие надеется, что типы вещей, рекомендуемых пользователям, не должны быть одинаковыми, а должны относиться к нескольким категориям и быть максимально сбалансированными, в то время как системное разнообразие надеется, что вещи, рекомендуемые разным пользователям, не должны быть одинаковыми. На рисунке ниже показан конкретный пример.
Объясняемость
Повышение объяснимости системы рекомендаций может повысить прозрачность, убедительность и достоверность восприятия пользователей, а также облегчит отладку и улучшение системы.
Справедливость
Справедливость также делится на две части: справедливость пользователей и справедливость проекта. Для пользователей рекомендуемые продукты не должны иметь алгоритмической предвзятости среди разных пользователей и групп, а для проектов не должно быть слишком больших различий в подверженности разных проектов; В общем, это индикатор обнаружения предвзятости алгоритма. Следует отметить, что обработка графических данных затруднит справедливость.
рекомендация продукта
Рекомендации по продуктам, также называемые рекомендациями по электронной коммерции, некоторые из которых тесно связаны с доходами платформы, например дополнительные покупки, покупки и т. д. Сами товары также будут иметь очень богатые характеристики, такие как цена, категория и т. д. Общие наборы данных о продуктах включают Amazon и Tmall.
Рекомендации по достопримечательностям (POI)
Цель рекомендаций по достопримечательностям — порекомендовать новые достопримечательности для следующего посещения пользователя. В рекомендации по интересам есть два важных фактора: пространство и время. Пространственный фактор относится к естественно существующим географическим атрибутам POI, а действия пользователя часто ограничиваются географическим местоположением, тогда как временной фактор относится к тому факту, что поведение пользователя часто представляет собой временную последовательность, поэтому могут возникнуть проблемы со следующим POI и другими POI; успешный POI. Общие наборы данных POI включают Yelp, Gowalla...
Рекомендации новостей
Текстовую информацию необходимо моделировать, обычно в сочетании с технологией НЛП. Однако в рекомендациях новостей из-за своевременности новостей набор кандидатов на новости будет быстро меняться, поэтому быстро найти соответствующие новости является большой проблемой. Общий набор данных новостей: MIND.
Рекомендации по фильмам
Рекомендации по фильмам — одна из первых систем рекомендаций. Первоначально она прогнозировала рейтинг пользователей от 1 до 5, а затем превратилась в популярную настройку двоичной неявной обратной связи. Он не требует от пользователей активного предоставления оценок, а лишь позволяет сделать вывод о предпочтениях пользователя на основе поведения пользователя, которое имеет определенную корреляцию с предыдущими рекомендациями по множеству вариантов поведения.
Другие приложения
Видеорекомендации, музыкальные рекомендации, рекомендации по работе, рекомендации по еде и т. д.
В этой статье мы в основном сосредоточимся на построении графа, проектировании сетевой архитектуры и окончательном выборе целей оптимизации.
Во всей конструкции сети используемые графы в основном включают однородный граф (однородный граф), гетерогенный граф (гетерогенный граф) и гиперграф (гиперграф). Среди них гетерогенный граф — это обычный граф с несколькими типами узлов и ребер, а гиперграф — это гиперграф, в котором каждое ребро может быть соединено с тремя или более узлами. Благодаря существованию гиперребер для построения гиперграфа можно использовать полную информацию о взаимодействии. В обычном смысле часто необходимо абстрагировать соответствующие отношения точки и края от реальной сцены.
В этой статье проектируется архитектура из пространственной и спектральной области. Среди них пространственная область — это знакомая идея агрегирования информации о соседях для непосредственной обработки локальных данных, в то время как спектральная область преобразует сигнал графа в спектральную область с помощью сверточной машины Фурье, отфильтровывает шумовые данные посредством фильтрации графа и затем преобразует его в сигнал рисунка.
В этой части автор представляет несколько классических моделей GNN, включая GCN, GraphSAGE и GAT, а также несколько менее простых моделей, включая HetGNN и HGNN. Среди них HetGNN — это пространственная область GNN в гетерогенном графе, которая классифицирует соседние узлы по типам, а затем объединяет их, в то время как HGNN — это спектральная область GNN в гиперграфе, и процесс ее распространения происходит от линий узлов к гиперребрам, а затем к гиперребрам; передается гиперребрами соседним узлам.
(Однако я думаю, что эта классификация здесь немного необоснованна, потому что GCN в обычном смысле действительно может быть получена с точки зрения спектральной области)
Поскольку я не знаком с архитектурой GNN на гетерогенных графах и гиперграфах, я не буду здесь подробно описывать ее. Также закопайте себе яму и систематически изучайте ее, как только разберетесь с этой частью.
Задача обучения рекомендательной системы, по сути, представляет собой обучение представлению. Окончательное встраивание, полученное моделью, еще необходимо перенести на конкретные последующие задачи посредством обработки. В зависимости от задачи его можно разделить на задачи классификации, задачи прогнозирования и задачи регрессии, а в соответствии с различными объектами исследования его можно разделить на задачи узла, краевые задачи и задачи подграфа.
Почему системы рекомендаций на основе GNN успешны?
Проблемы применения GNN в рекомендательных системах
Первый – этап построения графа.
На этом этапе основной задачей является преобразование структурированных данных в данные графика, а также преобразование традиционных рекомендательных задач в данные графика.
При построении схемы необходимо учитывать следующие вопросы:
Во-вторых, это дизайн сети. На этом этапе необходимо тщательно продумать метод агрегирования информации, включая выбор путей агрегирования информации, выбор функций агрегирования и т. д. Кроме того, такую информацию, как количество слоев и архитектура, также необходимо неоднократно корректировать и подтверждать.
Третий Цели оптимизации модели. Здесь вам нужно конвертировать традиционную Систему рекомендацийвloss Преобразование функции в потерю при обучении графика функция. Из-за разницы в структуре графов и количестве графов дизайн здесь тоже будет сильно отличаться. Кроме того, необходимо учитывать метод выборки структуры графа. Это также будет основной частью некоторых оптимизаций модели.
Четвертое — вычислительная эффективность. Сценарии применения рекомендательных систем очень практичны, а слишком сложные модели не имеют большой потребительской ценности. Поэтому необходимо учитывать эффективность расчета.
В следующих трех таблицах показана классификация документов на разных стадиях рекомендаций, сценарии рекомендаций и классификация документов в соответствии с различными целями рекомендаций:
Стадия согласования
Сосредоточьтесь на главном:
Основные направления дизайна:
Архитектура модели здесь представляет собой, по сути, двудольный граф «пользователь-элемент», а основные цели можно разделить на следующие два типа:
Некоторые методы выборки позволяют применять GNN к большим сетям, а некоторые из них удаляют нелинейные модули, что может повысить производительность некоторых наборов данных.
Связанные сведения о документе:
Этап рейтинга
Сосредоточьтесь на главном:
Как спроектировать разумную архитектуру, учитывающую взаимодействие между функциями?
Основные направления дизайна:
кодер+предиктор. Среди них часть кодера использует специальную структуру графа для достижения взаимодействия функций, тем самым получая высококачественное представление функций, в то время как часть прогнозирования изучает хороший метод интеграции функций для достижения взаимодействия;
В целом, эта часть предназначена в основном для получения хорошего представления функций, но производительность по-прежнему ограничена компонентом представления функций. Позже необходимо принять во внимание информацию о структуре графа более высокого порядка.
Связанные сведения о документе:
Этап ререйтинга
Сосредоточьтесь на главном:
Основные направления дизайна: В этой части автор представляет только одну статью, в которой используются разнородные графы для интеграции графа взаимосвязей проекта и графика оценок пользователей и элементов, а затем распространяется информация. Однако в этой части еще слишком мало исследований по другим целям оптимизации.
Сценарий социальных рекомендаций
Сосредоточьтесь на главном:
Основные направления дизайна:
Что касается вопроса 1, с точки зрения построения графа окажется, что на предпочтения пользователей будут влиять соседи более высокого порядка. Если мы примем во внимание это социальное влияние, мы сможем реализовать его многослойно в простом графе с помощью гиперграфа, а также напрямую моделировать социальные отношения высокого порядка; Для тех функций данных, которые являются более сложными в данных, множественная информация может быть интегрирована путем построения гетерогенных графиков, таких как добавление информации о времени, перспективной информации различных ролей и т. д. С точки зрения передачи информации,Здесь задействованы два основных механизма передачи информации::GCN&GAT。существоватьGCNугол,Вы можете изменить путь передачи информации или функцию агрегирования с точки зрения GAT;,Далее можно утверждать, что социальное влияние разных соседей различно.
Что касается вопроса 2, рассматриваемые документы можно разделить на две точки зрения. Одна заключается в изучении представлений пользователей из социальных сетей и графов пользовательских элементов соответственно, а затем интегрирует их в единое представление с помощью нескольких методов. Другая заключается в непосредственном агрегировании информации; двух графиков (например, с помощью GAT) для создания единого представления.
Контекст разработки:
Связанные сведения о документе:
Сценарий рекомендации последовательности
Сосредоточьтесь на главном:
Основные направления дизайна:
Преобразуйте последовательности поведения пользователей в графические представления и фиксируйте долгосрочные и краткосрочные предпочтения пользователей с помощью обучения графовым представлениям и технологии динамического объединения графов.
При моделировании последовательности, помимо учета долгосрочных интересов, также специально рассматривается моделирование краткосрочных интересов, отражаемое соседним поведением пользователей в последовательности.
Изучите многоперспективные представления и интегрируйте долгосрочные и краткосрочные представления интересов, чтобы получить более полное моделирование интересов пользователей.
С помощью таких методов, как обучение метрике и динамическое объединение графов, мы адаптивно изучаем веса важности ребер в структуре графа и сохраняем части, которые более важны для выражения интересов пользователя.
Оптимизированное графическое представление сериализуется и применяется для прогнозирования поведения на следующем этапе для обеспечения поддержки систем рекомендаций.
Контекст разработки:
Связанные сведения о документе:
Сценарий рекомендации сеанса
Сосредоточьтесь на главном:
в данных разговора,Вероятно, будет включать шум,нравиться:ipad->ipad->milk->airpods,Среди них молоко представляет собой шумовые данные, которые не позволяют давать рекомендации.
Основные направления дизайна:
Здесь шаблон конверсии обычно фиксируется путем построения ориентированного графа. Однако длина каждого сеанса по рекомендации сеанса относительно коротка, поэтому график, который может быть построен за один сеанс, относительно невелик, а содержащаяся в нем информация относительно ограничена. . поэтому:
Контекст разработки:
Связанные сведения о документе:
Рекомендуемые сценарии в комплекте
Сосредоточьтесь на главном:
Основные направления дизайна:
Одновременно изучайте информацию о пользовательском элементе и пользовательском пакете (с использованием совместного использования параметров или разработки функции потерь и т. д.). Поскольку данные пакета легко преобразуются в данные графа, вам нужно только беспокоиться о том, как улучшить представление графа.
Контекст разработки:
Связанные сведения о документе:
Сценарии междоменных рекомендаций
Сосредоточьтесь на главном:
Основные направления дизайна:
Поскольку разные домены несут разные измерения информации, общий подход состоит в том, чтобы построить большой граф и усердно работать над его сложностью или построить граф для каждого домена, а затем интегрировать информацию в граф.
Следует отметить, что перекрестный домен имеет несколько определений. Пользователи в разных доменах могут повторяться в некоторых сценариях, но не в других.
Контекст разработки:
Связанные сведения о документе:
Сценарии рекомендаций с несколькими вариантами поведения
Сосредоточьтесь на главном:
Основные направления дизайна:
В качестве дополнительной информации поведение может помочь системе рекомендаций лучше реагировать на намерения пользователя. Естественно, множественное поведение можно моделировать с помощью различных типов ребер, поэтому оно часто представляется гетерогенными графами.
Характеристика поведения в основном осуществляется со следующих двух сторон:
Смоделируйте влияние поведения (например, игнорируйте извлечение подграфов для разных типов поведения и моделируйте их отдельно, добавляйте информацию о времени и добавляйте механизмы внимания..) Учитывайте семантику самого поведения (например, моделирование непосредственно на гетерогенных графах)
основной Контекст разработки:
Связанные сведения о документе:
перспектива многообразия
Сосредоточьтесь на главном:
Что касается индивидуального разнообразия, традиционный процесс внедрения приблизит представление пользователя к элементам исторического взаимодействия, игнорируя при этом разнообразие рекомендуемых продуктов. поэтому:
Основными проблемами системного разнообразия являются:
Основные направления дизайна:
С точки зрения индивидуального разнообразия:
Для сигналов, не являющихся доминирующими, автор составил два метода: - Байесовский граф CF (BGCF): копирование узлов от соседей более высокого порядка, чтобы элементы с высоким сходством, но разными темами были напрямую связаны с пользователем. - Свертка диверсифицированного графа (DGCN): стратегия выборки обрабатывается для уменьшения веса тем, на которые приходится слишком высокая доля.
С точки зрения баланса точности и разнообразия, BGDF меняет порядок главных элементов, в то время как DGCN использует контрастное обучение при изучении встраивания, делая предпочтения и категории независимыми.
Начиная с системного разнообразия:
Автор предлагает метод увеличения связи между частыми элементами и элементами с длинным хвостом путем построения четырех типов ребер, тем самым обогащая обучение представлению элементов с длинным хвостом.
особенный,部分研究旨существовать同时提高个体&систематический Разнообразие。
Связанные сведения о документе:
Интерпретируемость
В исследовании интерпретируемости первоначально был представлен узел свойств элемента, а последующие исследования в основном основаны на KG, например, для объяснения используется последний путь связи между пользователями и элементами в KG. Автор также представляет некоторые комплексные рекомендуемые решения. Однако автор считает, что текущие исследования слишком много внимания уделяют поверхностным взаимодействиям и игнорируют причинно-следственные связи выбора пользователей. Некоторые методы причинного вывода могут быть внедрены в будущем.
Контекст разработки: (Две схемы жилкования в начале не соответствуют предыдущим указаниям, поэтому обратите внимание...)
Связанные сведения о документе:
справедливость
Сосредоточьтесь на главном:
Основные направления дизайна:
Контекст разработки:
Связанные сведения о документе: