На этот аккаунт обращают внимание программисты, переходящие на ИИ👇👇👇

Оглавление

• большой Модель（LLMs）Основы
  • 1. в настоящий момент Мейнстрим из системы моделей с открытым исходным кодом Какие есть?
  • 2. prefix LM и causal LM Какая разница?
  • 3. В чем причина появления новых способностей?
  • 4. Знакомство с большой архитектурой МодельLLMиз?
• Большая модель (LLM) Расширенная лапша
  • 1. llama Может ли длина входного предложения быть теоретически бесконечной?
  • 1. что такое LLMs Проблема с ретранслятором?
  • 2. Почему это появляется LLMs Проблема с ретранслятором?
  • 3. Как облегчить LLMs Проблема с ретранслятором?
  • 1. LLMs проблема с репитером
  • 2. llama серия вопросов
  • 3. Когда мне следует использовать модель Bert Когда мне следует использовать LLaMA или ChatGLM Как выбрать?
  • 4. Обслуживаются ли различные профессиональные области соответствующими специалистами?
  • 5. Как сделать большую ручку модели длиннее текста?
• Большая Модель (LLMs) тонкая настройка лапша
  • 1. Если вы хотите точно настроить все параметры исходя из определенного существования, сколько видеопамяти нужно иметь?
  • 2. Почему LLM чувствует себя глупо после SFT?
  • 3. SFT Команды тонкой настройки Как построить?
  • 4. Поле Модель Продолжить PreTrain данные Выбирать？
  • 5. После обучения работе с полевыми данными общие способности имеют тенденцию снижаться. пособие Модель Забыли универсальные способности?
  • 6. Поле Модель Продолжить PreTrain ,как Позвольте моделировать предтренировочный процесс середина, узнать больше о приезжать?
  • 7. При выполнении операций SFT мне следует выбрать в качестве базы Чат или Базу?
  • 8. Точная настройка модели поля инструкция&данные Формат ввода Требовать?
  • 9. Точная настройка модели поля Набор для оценки домена Строить?
  • 10. Необходимо ли расширять словарный запас в области Модель?
  • 11. Как тренироваться среди моделей?
  • 12. Какой у вас опыт обучения серединауниверситет гуманитарных наук Модель?
  • 13. Каковы преимущества тонкой настройки инструкций?
  • 14. Какой этап предварительной подготовки и тонкой настройки дает знания?
  • 15. Если я хочу, чтобы Модель получила знания в определенной области или отрасли, нужно ли мне предварительно пройти обучение или провести тонкую настройку?
  • 16. Как точно настроить Модель для нескольких раундов диалоговых задач?
  • 17. После тонкой настройки способности из Модель ухудшились и что случилось с катастрофической забывчивостью?
  • 18. Тонкая настройка Модельнуждаться Сколько видеопамяти?
  • 19. Что изучает LLM при выполнении операций SFT?
  • 20. Каковы операции предварительного обучения и SFT?
  • 21. Размер выборки увеличивается, и во время обучения возникают ошибки OOM.
  • 22. Большая МодельLLM для SFT Как оптимизировать образцы?
  • 23. Итерационный эксперимент по параметру модели
• большой Модель（LLMs）langchainлапша
  • 1. Диалог документа на основе векторной библиотеки LLM+ Основы
  • 2. Диалог документа на основе векторной библиотеки LLM+ Поверхность оптимизации
  • 3. Диалог документа на основе векторной библиотеки LLM+ Пример поверхности проекта
  • 1. LLMs Сохранить Модель галлюцинация вопрос, как с этим бороться?
  • 2. Диалог документа на основе векторной библиотеки LLM+ В чем идея?
  • 3. Диалог документа на основе векторной библиотеки LLM+ Какова основная технология?
  • 4. Диалог документа на основе векторной библиотеки LLM+ prompt шаблон как Строить?
  • 1. Болевая точка 1: сложность сегментации документов. Нас беспокоит слишком большой шум и потеря семантической информации.
  • 2. Болевая точка 2: в вертикальных полях плохая производительность
  • 3. Болевая точка 3: лангчейн встроенный Проблемы с неудовлетворительным выполнением предложений вопросов и ответов.
  • 4. Болевая точка 4: Как Вспомните как можно больше документов, связанных с запросом. вопрос
  • 5. Болевая точка 5: как заставить LLM получать высококачественный ответ на основе контекста запроса
  • 1. Рекорд по предотвращению ловушек
  • 2. Система вопросов и ответов местной базы знаний (Langchain-chatGLM)
  • 1. что такое LangChain?
  • 2. LangChain Что включено Основная концепция?
  • 3. что такое LangChain Agent?
  • 4. Как использовать LangChain ?
  • 5. LangChain Какие функции поддерживаются?
  • 6. что такое LangChain model?
  • 7. LangChain Что включено Функции?
  • 8. LangChain Как использовать?
  • 9. LangChain Какой вопрос и способы сохранить существование?
  • 10. LangChain Альтернатива?
  • 1. LangChain середина Components and Chains Что это такое?
  • 2. LangChain середина Prompt Templates and Values Что это такое?
  • 3. LangChain середина Example Selectors Что это такое?
  • 4. LangChain середина Output Parsers Что это такое?
  • 5. LangChain середина Indexes and Retrievers Что это такое?
  • 6. LangChain середина Chat Message History Что это такое?
  • 7. LangChain середина Agents and Toolkits Что это такое?
  • 1. LangChain Как позвонить LLMs Создать ответ?
  • 2. LangChain Как изменить намекатьшаблон？
  • 3. LangChain Как связать несколько компонентов для выполнения конкретной последующей задачи?
  • 4. LangChain Как встроить & vector store？
  • 1. LangChain Неэффективно из-за использования токенов
  • 2. LangChain Документация
  • 3. LangChain Слишком много понятий легко спутать, и слишком много «вспомогательных» функций.
  • 4. LangChain Непоследовательное поведение и скрытые детали
  • 5. LangChain Отсутствие стандартов совместимых типов данных: вопрос
  • большой Модель（LLMs）langchain лапша
  • Диалог документа на основе векторной библиотеки LLM+ Опыт лапша
• Эффективная точная настройка параметров (PEFT) большой модели (LLM) лапша
  • 1. Ло РА
  • 2. КЛОРА
  • 3. Адалора
  • 4. Можно ли интегрировать веса LoRA в исходную модель?
  • 5. ЧатGLM-6B Какой вес после LoRA?
  • 6. Ло РА Преимущества тонкой настройки Что это такое?
  • 7. Почему метод тонкой настройки LoRA может ускорить обучение?
  • 8. Как продолжить обучение по Модели LoRA?
  • 1.1 что такое LoRA？
  • 1.2 LoRA из Идеи Что это такое?
  • 1.3 LoRA из Функции Что это такое?
  • 2.1 QLoRA В чем идея?
  • 2.2 QLoRA из Функции Что это такое?
  • 3.1 AdaLoRA В чем идея?
  • 1. Зачем это нужно Подсказывает?
  • два、что такое Подсказывает?
  • 3. Подсказка Каковы преимущества?
  • 4. Какие методы подсказки вы можете кратко представить?
  • 4.4.1 зачем это нужно P-tuning v2？
  • 4.4.2 P-tuning v2 Идеи Что это такое?
  • 4.4.3 P-tuning v2 Преимущества это такое?
  • 4.4.4 P-tuning v2 Недостатки это такое?
  • 4.3.1 зачем это нужно P-tuning？
  • 4.3.2 P-tuning Идеи Что это такое?
  • 4.3.3 P-tuning Преимущества это такое?
  • 4.3.4 P-tuning Недостатки это такое?
  • 4.2.1 зачем это нужно Подскажите-тюнинг?
  • 4.2.2 Оперативная настройка Идеи Что это такое?
  • 4.2.3 Инструкция по тонкой настройке（Prompt-tuning）Преимущества это такое?
  • 4.2.4 Инструкция по тонкой настройке（Prompt-tuning）Недостатки это такое?
  • 4.2.5 Оперативная настройка и Prefix-tuning разница Что это такое?
  • 4.2.6 Оперативная настройка и fine-tuning разница Что это такое?
  • 4.1.1 зачем это нужно Приставка-тюнинг?
  • 4.1.2 Приставка-тюнинг Идеи Что это такое?
  • 4.1.3 Тонкая настройка приставки（Prefix-tuning）из Преимущества это такое?
  • 4.1.4 Тонкая настройка приставки（Prefix-tuning）из Недостатки это такое?
  • 4.1 Приставка-тюнинг
  • 4.2 Оперативная настройка
  • 4.3 P-tuning Глава
  • 4.4 P-tuning v2 Глава
  • 1. Почему нуждаться Адаптер-тюнинг?
  • 2. Идея настройки адаптера?
  • три, Функции настройки адаптера Что это такое?
  • Четыре、AdapterFusion Идеи Что это такое?
  • пять、AdapterDrop Идеи Что это такое?
  • 6. АдаптерDrop Функции Что это такое?
  • 7. МАМ Adapter Идеи Что это такое?
  • 8. МАМ Adapter Функции Что это такое?
  • В чем заключается метод тонкой настройки? Как его тонко настроить?
  • зачем это нужно PEFT？
  • представлять PEFT？
  • PEFT Каковы преимущества?
  • Метод точной настройки скорости памяти графического процессора в пакетном режиме?
  • Peft и Полная разница в точной настройке?
  • Сравнение различных эффективных методов тонкой настройки
  • Существующая в настоящее время эффективная технология точной настройки существует.
  • Лучшие практики для эффективных методов тонкой настройки
  • PEFT житьсуществоватьвопрос？
  • Можете ли вы кратко описать эффективные методы точной настройки различных параметров?
  • Эффективная точная настройка параметров (PEFT) большой модели (LLM) лапша
  • Адаптер-тюнинг Глава
  • Подсказка
  • LoRA Серия Глава
• большой Модель（LLMs）рассуждениелапша
  • 1. Почему видеопамять так увеличивается и все равно занимает ее при рассуждениях?
  • 2. Какова скорость вывода на большом Модель Существовать GPU?
  • 3. С точки зрения скорости вывода, как сравниваются int8 иfp16?
  • 4. Обладает ли Великая Модель способностью рассуждать?
  • 5. Как установить параметры при создании большой модели?
  • 6. Какие существуют методы обучения/тонкой настройки/вывода, позволяющие экономить память для больших языков?
  • 7. Как сделать вывод большой модели совместимым
  • 8. Применить изменения режима
• Обзор большой модели (LLM) лапша
  • Как вы оцениваете большую модель?
  • Как реализуется принцип великой Моделиичестности?
  • Как Модель определяет, был ли ответ на основе знаний обучен на основе известных знаний? Как тренировать эту способность?
• Большая модель (LLM) Лапша обучения с подкреплением
  • Соответствует ли базовая модель вознаграждения моделинуждаться?
  • RLHF существовать Процесс практикисерединажитьсуществовать Какие недостатки？
  • Как решить Стоимость интеграции искусственного создания данных о предпочтениях высока, а массовое производство сложно производить. Вопрос?
  • Как решитьтри этапаизтренироваться（SFT->RM->PPO）Процесс более длительный,Итерация обновления идет медленно?
  • Как решить PPO в процессе обучения одновременно существуют 4 модели (2 обучения, 2 рассуждения), требующие больших вычислительных ресурсов вопрос？
• Программная и аппаратная конфигурация большой модели (LLMs) лапша
• Учебный комплект «Большая модель (LLM)» лапша
  • SFT (контролируемая точная настройка) изданный заданный формат?
  • RM（награда Модель）изданные Формат？
  • PPO (Reinforcement Learning) изданный формат?
  • Где я могу найти коллекцию данных?
  • тонкая настройкануждаться Сколькоданные？
  • Что такое большие обучающие наборы Модельиз?
  • Какие наборы данных лучше использовать для предварительного обучения на больших полях?
• большой Требуются модели (LLM).
• Большая модель (LLM) распределенного обучения лапша
• большой Модель（LLMs）agent лапша
  • Как внедрить предметные знания в LLM?
  • Что делать, если вы хотите быстро опробовать различные модели?
• Подготовка параметров токена и модели Глава
  • Предварительные данные для обучения Token повторить Влияет ли это Модельпроизводительность？
  • Сколько жетонов обучения имеет SFTнуждаться?
• LLMs Код города Глава
  • 6.1 ALiBi (Attention with Linear Biases) Идеи Что это такое?
  • 6.2 ALiBi (Attention with Linear Biases) матрица избиений Что это Что такое делает?
  • 6.3 ALiBi (Attention with Linear Biases) Каковы преимущества?
  • 6.4 ALiBi (Attention with Linear Biases) посредством чего LLMs приложение?
  • 5.1 что такое Вопрос об экстраполяции длины?
  • 5.2 Вопрос об экстраполяции длины из Решение Какие есть?
  • 4.1 Кодирование вращательного положения RoPE Идеи Что это такое?
  • 4.2 Получите это Кодирование вращательного положения RoPE ？
  • 4.3 Кодирование вращательного положения RoPE Каковы преимущества?
  • 4.4 Кодирование вращательного положения RoPE посредством чего LLMs приложение?
  • 1 что такое кодирование местоположения?
  • 2 что такое кодирование абсолютной позиции?
  • 3 что такое кодирование относительного положения?
  • 4 Кодирование вращательного положения RoPEГлава
  • 5 Вопрос об экстраполяции длины Глава
  • 6 ALiBi (Attention with Linear Biases)Глава
• LLMs Tokenizer Глава
  • Byte-Pair Encoding(BPE)Глава
  • WordPiece Глава
  • SentencePiece Глава
  • Сравнить
  • 1 Byte-Pair Encoding(BPE) Как построить словарь?
  • 1 WordPiece и BPE Сходства и различия это такое?
  • Простойпредставлять SentencePiece Идеи？
  • 1 Пример представлять другой большой МодельLLMs из метода причастий слова?
  • 2 представлять другой большой МодельLLMs из слова причастный метод изразница？
  • LLMs Tokenizer Глава
• Layer Normalization Глава
  • LLMs Каждая модель используется отдельно. Какой вид Layer normalization？
  • 1 LN существовать LLMs серединаиздругой Расположение Есть ли разница? Если да, можете ли вы занять должностьразница?
  • Layer Norm Глава
  • RMS Norm Глава (среднеквадратичное значение Norm）
  • Deep Norm Глава
  • Deep Norm Каковы преимущества?
  • Layer Norm формула расчетанапиши об этом？
  • RMS Norm формула расчетанапиши об этом？
  • RMS Norm по сравнению с Layer Norm Какие функции?
  • Deep Norm Идеи？
  • напиши об этом Deep Norm Реализация кода?
  • Layer normalization-метод Глава
  • Layer нормализация- позиция Руководитель
  • Layer normalization Сравнить
• LLMs Функция активации
  • 1 представлять FFN кусок Формула расчета?
  • 2 представлять GeLU Формула расчета?
  • 3 представлять Swish Формула расчета?
  • 4 представлять использовать GLU Линейный воротный блок из FFN кусок Формула расчета?
  • 5 представлять использовать GeLU из GLU кусок Формула расчета?
  • 6 представлять использовать Swish из GLU кусок Формула расчета?
  • Различные программы LLM Всеиспользовать Какой вид функции активации?

Адрес получения открытого исходного кода проекта:

Следуйте данным общедоступной учетной записи WeChat и отвечайте на сообщения LLM, чтобы получить их.

ii. Почему возникают проблемы с репитером LLM?

Проблемы с ретранслятором LLM могут возникнуть по следующим причинам:

1. Смещение данных: крупномасштабный язык. Модель обычно обучается на этапе предварительного обучения, исполь зовать крупномасштабные немаркированные данные из. Если обучающие данныесередина хранят большое количество текста, или некоторые конкретные предложения или фразы появляются чаще,Модельсуществовать может иметь тенденцию повторять эти общие шаблоны при создании текста.
2. Цели обучения из ограничений: Большой язык. Модельное обучение обычно основано на методах самостоятельного обучения.,Изучайте язык Модель, предсказывая следующее слово или маскируя его. Эта цель обучения может сделать Модель более склонной генерировать и вводить похожие тексты.,привести кпроблема с появляется репитеромиз.
3. Недостаток разнообразия обучающих данных: хотя большие языки Модель может обрабатывать большие изданные,Но если обучающим даннымсередина не хватает разнообразия, языкового выражения и контекста,Модель, возможно, не сможет научиться приезжать достаточно из-за разнообразия и креативности.,привести кпроблема с появляется репитеромиз.
4. Структура модели и настройки параметров: Большой язык Структура модели и настройка параметров также возможны для задачи. с репитером оказывает воздействие. Например, механизм внимания и стратегия генерации Модельиз могут привести к тому, что Модель будет более склонна копировать вводимые данные из текста.

Для решения проблемы ретранслятора можно использовать следующие стратегии:

1. Данные по обучению разнообразию: существующий этап обучения,Попробуйте использовать разнообразие корпуса для обучения модели.,избегатьданныеотклонениеиповторитьтекстизвопрос。
2. Представляем шум: существуют при генерации текста,Может внести некоторую случайность или шум,Например, путем выборки других слов или фраз.,Или ввести случайные операции преобразования,Увеличить разнообразие генерируемого текста.
3. Настройка параметра температуры: параметр температуры — это параметр, используемый для управления разнообразием генерируемого текста. Регулируя параметр температуры из значения,Может контролировать генерируемый текст на предмет его оригинальности и разнообразия.,тем самым уменьшаяпроблема с появляется репитеромиз.
4. Постобработка и фильтрация: постобработка и фильтрация сгенерированного текста.,Удалить видимые предложения или фразы,Улучшить качество и разнообразие генерируемого текста.

Следует отметить, что проблема повторителя — это проблема, с которой сталкиваются крупномасштабные языковые модели. Решение этой проблемы — сложная задача, требующая всестороннего учета множества факторов, таких как данные, цели обучения, архитектура модели и стратегии генерации. В настоящее время исследователи и инженеры постоянно работают над улучшением и оптимизацией крупномасштабных языковых моделей, чтобы повысить разнообразие и креативность генерируемого ими текста.

iii. Как решить проблемы с ретрансляторами LLM?

Чтобы облегчить проблемы с репитером LLM, вы можете попробовать следующие методы:

1. Данные по обучению разнообразию: существующий этап обучения,использовать Разнообразие из корпуса для обучения Модель,Избегайте отклонения данных и отображайте текст и вопрос. Это может включать получение данных из другого поля, другого источника и другого стиля текста середина.
2. Представляем шум: существуют при генерации текста,Внесите некоторую случайность или шум,Например, путем выборки других слов или фраз.,Или ввести случайные операции преобразования,Увеличить разнообразие генерируемого текста.Это можно сделать черезсуществоватьпроцесс генерациисерединаверно Модельиз Выборка выходных данных или добавление случайности для достижения。
3. Настройка параметра температуры: параметр температуры — это параметр, используемый для управления разнообразием генерируемого текста. Регулируя параметр температуры из значения,Может контролировать генерируемый текст на предмет его оригинальности и разнообразия.。вышеиз Значения температуры добавляют случайности,тем самым уменьшаяпроблема с появляется репитеромиз.
4. Настройка поиска луча: существуют при генерации текста,Параметры поиска луча можно регулировать. Поиск луча - широко используемая стратегия генерации.,Существующий процесс генерации середина поддерживает коллекцию последовательностей-кандидатов. Изменяя размер Beam и ширину поиска,Вы можете контролировать разнообразие и креативность создаваемого текста.
5. Постобработка и фильтрация: постобработка и фильтрация сгенерированного текста.,Удалить видимые предложения или фразы,Улучшить качество и разнообразие генерируемого текста.Можетиспользоватьтекст Расчет сходстваметодили правила для обнаруженияиудалятьповторитьизтекст。
6. Человеческое вмешательство и контроль: для критически важных или чувствительных сценариев,Могут быть внедрены механизмы ручного вмешательства и контроля.,Просмотр и фильтрация сгенерированного текста,Обеспечьте точность и разнообразие полученных результатов.

Важно отметить, что устранение проблем с репитерами LLM является сложной задачей, и не существует универсального решения. Разные методы могут подходить для разных сценариев и задач, их необходимо выбирать и корректировать в соответствии с конкретной ситуацией. Кроме того, решение проблемы ретранслятора требует всестороннего рассмотрения множества факторов, таких как данные, цели обучения, архитектура модели и стратегии генерации. Необходимы дальнейшие исследования и практика для улучшения разнообразия и креативности текста, генерируемого большими языковыми моделями.

2 серии вопросов о ламе

i. Может ли длина входного предложения ламы быть теоретически бесконечной?

Теоретически LLM (большие языковые модели) могут обрабатывать входные предложения произвольной длины, но на практике существуют некоторые ограничения и проблемы. Вот некоторые важные соображения:

1. Вычислительные ресурсы: создание длинных предложений нуждаться больше из Вычислительных ресурсов,Включает в себя память и время вычислений. Поскольку LLM обычно основаны на нейронных сетях из Модель,Вычисление длинных предложений может привести к нехватке памяти или длительному времени вычислений извопрос.
2. Модель обучения и рассуждения. Обучение и рассуждение с использованием длинных предложений может столкнуться с некоторыми трудностями. продолжать тренировочный этап,Обработка длинных предложений может привести к исчезновению или взрыву градиентов извопрос,Влияние на сходимость Модельиз и эффект обучения. существовать стадия рассуждения,Генерация длинных предложений может увеличить частоту ошибок Моделиза и время генерации.
3. Контекстное моделирование: LLM основаны на контекстном моделировании из Модель.,Длинные предложения вне контекста могут быть более сложными и глубокими. Модельнуждаться способна уловить семантическую и грамматическую структуру длинных предложений серединаиз.,создавать точный и связный текст.

Несмотря на эти проблемы, исследователи и инженеры постоянно работают над улучшением и оптимизацией LLM для работы с более длинными предложениями. Например, вы можете использовать фрагментирование для обработки длинных предложений, разбивая их для обработки на несколько более коротких сегментов. Кроме того, способность LLM обрабатывать длинные предложения также можно улучшить за счет увеличения вычислительных ресурсов, оптимизации структуры модели и настроек параметров, а также использования более эффективных алгоритмов вывода.

Стоит отметить, что в реальных приложениях на обработку длинных предложений также могут влиять такие факторы, как сценарии приложения, требования задач и ограничения ресурсов. Поэтому при использовании LLM для обработки длинных предложений эти факторы необходимо учитывать комплексно, выбирать и корректировать в соответствии с конкретной ситуацией.

3. Когда нам следует использовать модель Берта, а когда — большие модели, такие как LLaMA и ChatGLM. Как выбрать?

Выбор того, какую большую модель использовать, например Bert, LLaMA или ChatGLM, зависит от конкретного сценария приложения и требований. Вот несколько рекомендаций:

1. Модель Берта: Берт предварительно обучен изучению языка Модель.,Подходит для различных задач обработки естественного языка.,Например, классификация текста, распознавание именованных объектов, расчет семантического сходства и т. д. Если ваша задача является общей задачей по обработке текста,не полагаясь на конкретные знания предметной области или языковой стиль,Берт Модель обычно является хорошим выбором. Берт состоит из преобразователя-энкодера.,Больше подходит для задач, связанных с NLU.
2. LLaMAМодель：LLaMA（Large Language Model Meta AI) содержит от 7B приезжать 65B из Диапазон параметров,Обучение использует до 1,4 триллиона токенов,Способность обладать здравым смыслом, вопросами и ответами, математическими рассуждениями, генерацией кода, пониманием языка и т. д. Берт состоит из декодера Трансформера. Ожидается, что обучение будет в основном проводиться на английском и латыни.,Не содержит середина японского и корейского языков. Поэтому он подходит для задач по созданию текста на английском языке.
3. Модель ChatGLM: ChatGLM — это языковая модель, ориентированная на лапшу.,Подходит для создания чат-роботов, интеллектуального обслуживания клиентов и других диалоговых систем. Если сценарий вашего приложения нуждается Модель может генерировать последовательные и плавные диалоговые ответы,А нуждаться обрабатывает контекст диалога, генерирует несколько раундов диалога и т. д.,ChatGLMМодель может быть лучшим выбором. Архитектура ChatGLMиз — префиксный декодер.,Учебный корпус двуязычен на английском и середина.,Английское соотношение середина составляет 1:1. Поэтому он подходит для задачи генерации текста на середина и английском языке.

При выборе модели также необходимо учитывать следующие факторы:

• Наличие данных: другая Модель может нуждаться в другом типе и размере и зданных для обучения. Убедитесь, что у вас достаточно изданных для обучения и точной настройки выбранной из Модели.
• Вычислительные ресурсы: Большая модель обычно нуждается больше в вычислительных ресурсах и дисковом пространстве. Убедитесь, что у вас достаточно аппаратных ресурсов для поддержки выбранного обучения и вывода.
• Предварительное обучение и тонкая настройка: Обычно нуждаться требуется предварительное обучение и тонкая настройка для адаптации к конкретной задаче и области. Поймите процесс предварительного обучения и тонкой настройки выбранной вами Модели.,И убедитесь, что у вас есть подходящее время для выполнения этих шагов.

Лучший выбор зависит от конкретных потребностей и ограничений приложения. Прежде чем принять решение, рекомендуется провести несколько экспериментов и оценок, чтобы определить, какая модель лучше всего подходит для вашего сценария применения.

4. Нужна ли каждой профессиональной сфере своя большая модель?

Для каждой профессиональной области обычно требуется собственная большая модель по следующим причинам:

1. Знания, специфичные для предметной области: другие домены имеют свои собственные специфические знания и терминологию.,нуждаться Обучение в этой области может помочь вам лучше понимать и обрабатывать соответствующие тексты. Например,существоватьмедицинская сфера,нуждаться в обучении с медицинскими знаниями избольшой Модель,Создайте медицинский текст для более точного понимания.
2. Языковой стиль и идиомы: каждая область обычно имеет свой собственный уникальный языковой стиль и идиомы.,Все эти функции важны для обучения и создания Модельиз. Обучение конкретно в определенной области может привести к лучшему овладению языковыми функциями в этой области.,Создавайте текст, который лучше соответствует требованиям данной области.
3. Различия в требованиях к домену. Другой домен также предъявляет разные требования к обработке текста. Например, финансовой сфере можно уделить больше внимания. на Числа и статистические данныеиз имеют дело, в то время как юридическое поле может быть более сосредоточено Юридические термины и анализ кейсов. поэтому,Чтобы лучше удовлетворить потребности другой области из,нуждаться специализируется на обучении в различных областях избольшой Модель.
4. Дефицит данных: Некоторые изданные территории могут быть относительно редкими.,Универсальную модель невозможно адекватно обучить. Обучение определенной области позволяет лучше использовать эту область.,Улучшите производительность и эффект Модельиз.

Хотя для обслуживания разных областей необходимы отдельные большие модели, некоторые общие модели и методы также могут использоваться совместно. Например, общая большая модель может использоваться для решения общих текстовых задач, а модель, специфичная для конкретной предметной области, может быть точно настроена и настроена на основе общей модели для адаптации к потребностям конкретной предметной области. Это может сократить повторное обучение и потребление ресурсов модели, одновременно удовлетворяя потребности предметной области.

5 Как заставить большую модель обрабатывать более длинный текст?

Чтобы большая модель могла обрабатывать более длинный текст, следует рассмотреть несколько подходов:

1. Обработка сегментации: разделение длинного текста на более короткие сегменты.,Затем введите сегментную модель для обработки. Это позволит избежать нагрузки на память и вычислительные ресурсы длинных текстов. существовать при обработке разделенного фрагмента текста,Можно использовать перекрытие в пути,То есть часть соседних сегментов перекрывается.,Чтобы сохранить контекст и последовательность.
2. Иерархическое моделирование: путем введения иерархической структуры.,Разделите длинный текст на более мелкие блоки. Например,Текст можно разделить на уровни абзацев, предложений или пунктов.,Затем введите Модель слой за слоем для обработки. Это уменьшает длину каждого блока.,Улучшите способность Модели обрабатывать длинный текст.
3. Частичная генерация: если генерируется только часть текста,вместо всего текста,В качестве контекста можно ввести только часть текста,Затем позвольте Модели сгенерировать необходимые детали. Например,Введите предыдущую часть текста,Позвольте модели генерировать последующий контент.
4. Механизм внимания: Механизм внимания может помочь Модель Сосредоточиться на Введите важную часть серединаиз,Может использоваться для контекстного моделирования при обработке длинного текста. Внедряя механизм внимания,Модель может лучше фиксировать ключевую информацию в длинном тексте серединаиз.
5. Оптимизация структуры модели: путем оптимизации структуры модели и настроек параметров.,Это может улучшить способность Модели обрабатывать длинные тексты. Например,Вы можете увеличить количество слоев или параметры Моделииз.,Для повышения выразительности Модельиз. Также можно использовать более эффективную архитектуру модели.,Такие как Трансформер и т. д.,Повысить эффективность обработки длинного текста.

Следует отметить, что при обработке длинного текста также следует учитывать ограничения по вычислительным ресурсам и времени. Более длинный текст может потребовать больше памяти и времени вычислений, поэтому практические компромиссы необходимо принимать в каждом конкретном случае.

Люди, прочитавшие эту статью, также читают следующие статьи:

Практический пример глубокого обучения TensorFlow 2.0

На основе набора табличных данных TableBank, состоящего из 400 000 элементов, для обнаружения таблиц используется MaskRCNN.

«Обработка естественного языка на основе глубокого обучения», китайский/английский PDF

Глубокое обучение китайской версии, первое издание - команда Чжоу Чжихуа

[Полный набор видеоуроков] Самая полная серия объяснений алгоритмов обнаружения целей, простая для понимания!

«Практика машинного обучения Meituan»_Команда алгоритмов Meituan.pdf

«Введение в глубокое обучение: теория и реализация на основе Python» Исходный код HD, китайский PDF+

«Глубокое обучение: практика Python на основе Keras» PDF и код

Извлечение признаков и обработка изображений (второе издание).pdf

Обучающее видео на курсах Python, от вступления до практических проектов

Последняя английская и китайская версии «PyTorch Natural Language Processing» 2019 года. Исходный код PDF+.

«21 проект для глубокого обучения: подробное практическое объяснение на основе TensorFlow» Полная версия PDF + прикрепленный код книги

«Pytorch для глубокого обучения» в формате pdf + приложенный исходный код книги

Краткое практическое введение в глубокое обучение PyTorch «pytorch-handbook».

[Загрузить] Оценка Дубана 8,1, «Машинное обучение в действии: на основе Scikit-Learn и TensorFlow»

«Практика анализа и майнинга данных на Python» PDF + полный исходный код

Практическое видео проекта полного графа знаний в автомобильной промышленности (всего 23 урока)

Мастер Ли Му опубликовал с открытым исходным кодом учебник по глубокому обучению «Практическое обучение» в Беркли, Калифорния (весна 2019 г.)

Примечания и код ясны и просты для понимания! Полный набор новейших ресурсов «Статистических методов обучения» Ли Ханга!

«Нейронные сети и глубокое обучение», последняя версия 2018 г., китайский и английский PDF + исходный код

Развертывание моделей машинного обучения как REST API

FashionAI. Распознавание изображений этикеток с атрибутами одежды. Топ 1–5. Обмен решениями.

Важный открытый исходный код! CNN-RNN-CTC реализует распознавание рукописных китайских иероглифов

yolo3 обнаруживает неправильные китайские символы на изображениях

Вы также инженер по алгоритмам машинного обучения, почему вы не можете пройти собеседование?

Алгоритм больших данных о кредитной информации Qianhai: прогнозирование вероятности риска

[Keras] Полностью реализует два проекта классификации «дорожных знаков» и классификации «билетов», что позволяет вам освоить классификацию изображений с глубоким обучением.

Передача обучения VGG16 для реализации проекта по распознаванию и классификации медицинских изображений

Разработка функций (1)

Разработка функций (2): расширение, фильтрация и фрагментирование текстовых данных.

Разработка функций (3): масштабирование функций, от набора слов до TF-IDF.

Разработка функций (4): Характеристики категории

Разработка функций (5): Уменьшение размерности PCA

Разработка функций (6): нелинейное извлечение функций и наложение моделей.

Разработка функций (7): извлечение функций изображения и глубокое обучение

Как использовать новую интегрированную каскадную структуру дерева решений gcForest для проектирования функций и оценки?

Машинное обучение Тоска по китайскому переводу

Ant Financial 2018 Осенний рекрутинг-инженер по алгоритмам (всего четыре аспекта) пройден

Global AI Challenge — исходный код конкурса для классификации сцен (объединение нескольких моделей)

Официальное руководство Stanford CS230: быстрая проверка CNN, RNN и советы по использованию (сборник для печати)

Python+flask создает онлайн-распознавание CNN рукописного китайского веб-сайта

Первая китайская команда на глобальном соревновании Kaggle по сопоставлению текстов Китайской академии наук — глубокое обучение и разработка функций.