Автор | Помидор любит яйца Организация | https://zhuanlan.zhihu.com/p/688913185
Привет всем, это NewBeeNLP. Сегодня взгляните на исследование Meta о законе масштабирования, системе рекомендаций по глубокому обучению.
В данной статье рассматривается вопрос. Поскольку количество параметров в плотном слое рекомендательной системы (то есть в слое расчета, отличном от таблицы внедрения) продолжает увеличиваться, будут ли постепенно увеличиваться рекомендуемые показатели?
В этой статье дан однозначный ответ, т. Внутренний набор данных со 146 миллиардами записей и 720 функциями. постепенно расширяйте параметры Плотного слоя, Объем расчета обучения WuKong, модели, предложенной в этой статье, варьируется от 1GFLOP/пример увеличивается до 100 GFLOP/example(100 GFLOP/пример эквивалентен шкале вычислений GPT3), шкала параметра плотного слоя варьируется от 0,74B до 17B, а соответствующие показатели производительности демонстрируют тенденцию к постоянному улучшению.
Общий вклад этой статьи:
Я имею в виду, что Meta недавно сообщила о явлении закона масштаба в модели генеративных рекомендаций, предложенном различными группами. Для получения подробной информации обратитесь к следующим вопросам:
Элементы имеют блочную конструкцию: размер каждого элемента имеет Меньшие подразмерности служат базовыми единицами. (Например, обычно используются 32 измерения, которые можно разделить на четыре базовые единицы по 8 измерений), а затем для важных функций можно использовать больше базовых единиц, чтобы получить более длинные размеры объекта.
Функции переменной длины могут принести некоторые эффекты. Вы также можете обучать блоки полной длины во время обучения, а затем использовать функцию Featuredropout для удаления соответствующих блоков.
Во время кроссовера объектов каждая единица будет использоваться как независимый объект для участия в кроссовере (сохранение постоянной длины единицы будет способствовать кроссоверу функций).
В целом, Wukong — это относительно распространенная категория моделей CTR. Она использует структуру, которая сначала использует слой Wukong для выполнения пересечения функций, а затем использует MLP для генерации результатов прогнозирования.
Как показано на рисунке выше, каждый уровень Wukong содержит блок машины факторизации (сокращенно FMB) и блок линейного сжатия (сокращенно LCB). Наконец, выходные данные двух модулей соединяются и добавляются остаточные связи и LayerNorm.
Предположим, что характеристическая матрица определенного образца. Конкретная формула расчета слоя Вуконг выглядит следующим образом:
ФМБ работает следующим образом:
FM — это модуль функционального кроссовера, и в этой статье для захвата кроссовера высокого порядка используется структура, аналогичная DCNv2. Среди них, то есть сначала сжать количество признаков до , а затем вычислить перекрестный результат. Наконец, FMB выводит матрицу функций.
LCB выглядит следующим образом
где — весовая матрица, — гиперпараметр, определяющий количество выходных сжатых вложений, — количество вложений в i-м слое.
Вуконг в основном настраивает следующие параметры масштаба.
В статье упоминается, что они сначала усилили l, а затем усилили другие параметры.
Вот краткий обзор результатов сравнения. Для детальных настроек вы можете обратиться непосредственно к статье.
Видно, что Wukong также хорошо работает с этими наборами данных.
Это основное содержание данной статьи. Давайте уделим пристальное внимание его настройкам подробно.
Согласно приложению параметры каждой точки отбора проб Укун устанавливаются следующим образом:
График улучшения производительности строится в зависимости от объема расчета следующим образом:
Видно, что по мере увеличения объема обучающих вычислений логарифмические потери неуклонно уменьшаются. Согласно заключению статьи, Wukong Поддерживает правило масштабирования на два порядка сложности модели, что примерно эквивалентно увеличению сложности каждый раз, когда она увеличивается в четыре раза. 0.1%。
Авторы также построили аналогичные результаты на основе количества параметров модели.
Так в какие же модули эффективнее добавлять параметры и расчеты? Рисунок ниже также дает определенный ответ.
Можно заметить, что параметры n_F и l, связанные с поперечным сечением объекта, значительно улучшились. Комбинация k, n_F, n_L также дает хороший эффект. Улучшение параметров MLP также дает эффект, но увеличение n_L само по себе не дает эффекта. (Я считаю, что большинство из них, связанных с пересечением функций и, наконец, с MLP, более эффективны)
Закон масштабирования все еще относительно ясен. За счет увеличения вычислительных затрат на взаимодействие функций можно добиться повышения производительности, что также очень интуитивно понятно. Немного жаль, что он не предполагает моделирования последовательностей. Конечно, рекомендуемые требования к задержке вычислений намного превышают требования LLM. Как уместить больше вычислений в единицу времени — это тоже техническая задача.