С быстрым развитием технологий искусственного интеллекта большие языковые модели (LLM) стали важным инструментом в области обработки естественного языка. Однако для запуска этих моделей часто требуются обширные вычислительные ресурсы и сложные процессы развертывания. Чтобы решить эту проблему, появился Оллама, который стал экспертом по управлению эффективной локальной моделью большого языка LLM.

Ollama

Знакомство с Олламой

Ollama — это инструмент обслуживания больших языковых моделей с открытым исходным кодом, который помогает пользователям быстро запускать большие модели локально. С помощью простых инструкций по установке пользователи могут выполнить одну команду для локального запуска крупномасштабных языковых моделей с открытым исходным кодом, таких как Llama 2 и новейшая версия Llama 3 с открытым исходным кодом. Ollama значительно упрощает процесс развертывания и управления LLM в контейнерах Docker, позволяя пользователям быстро запускать большие языковые модели локально.

Особенности и преимущества Олламы

1. Полнофункциональность: Ollama объединяет веса модели, конфигурацию и данные в пакет, определяемый как Modelfile. Он оптимизирует детали настройки и конфигурации, включая использование графического процессора, что приводит к более эффективному запуску модели.
2. Легкость: код Олламы краток и ясен и требует мало ресурсов во время выполнения. Это позволяет ему эффективно работать локально и не требует обширных вычислительных ресурсов. Кроме того, он также поддерживает горячую загрузку файлов моделей и может переключать разные модели без перезапуска, что делает его очень гибким и универсальным.
3. Простота использования: Ollama предоставляет различные способы установки, поддерживает платформы Mac и Linux и предоставляет образы Docker. Пользователям необходимо только следовать руководству по установке, чтобы завершить установку, не имея профессионального технического образования.

Запускайте большие языковые модели локально с помощью Ollama

Сначала посетите официальный сайт Олламы. Установка на Mac особенно проста: просто скачайте и запустите пакет программного обеспечения.

Нажмите «Загрузить» и выберите версию, подходящую для вашего компьютера.

После загрузки Windows на компьютере не выскакивает ярлык метода запуска. Не знаю, ошибка ли это. Обычно я нажимаю на аббревиатуру, чтобы войти в каталог журналов, а затем щелкаю правой кнопкой мыши, чтобы открыть терминал.

Вернитесь на официальный сайт Олламы и нажмите «Модели» в правом верхнем углу.

Вы можете увидеть множество моделей следующим образом:

Когда мы нажимаем llama3, мы видим следующий интерфейс:

Нажмите «Последние», чтобы выбрать тип модели. Рекомендуется запускать 8b для ноутбуков и 70b для серверов (видеокарта ноутбука автора — RTX4070).

image.png

Нажмите кнопку копирования, вставьте командную строку в окно терминала и выполните ее.

ollama run llama3:8b

После установки это выглядит так:

AnythingLLM

Введение во что угодноLLM

AnythingLLM — это частный ChatGPT, разработанный Mintplex Labs Inc., который может общаться с чем угодно. Это эффективное, настраиваемое решение для чат-бота с открытым исходным кодом корпоративного уровня. Он превращает любой документ, ресурс или часть контента в соответствующий контекст, который большие языковые модели (LLM) могут использовать в чате.

Возможности AnythingLLM

• Поддержка многопользовательского экземпляра и управление разрешениями
• Новый встраиваемый виджет чата для вашего сайта
• Поддерживает несколько типов документов (PDF, TXT, DOCX и т. д.).
• Управляйте документами в базе данных векторов с помощью простого пользовательского интерфейса.
• Два режима чата: режим разговора и режим запроса. В режиме разговора сохраняются предыдущие вопросы и изменения. Режим запроса используется для выполнения простых вопросов и ответов в документе.
• Функция цитирования в чате
• Полностью подходит для развертывания в облаке.
• Модель «Принеси свой собственный LLM».
• Чрезвычайно эффективная мера экономии средств при управлении очень большими документами. Вы никогда не будете платить за встроенные большие документы или транскрипции более одного раза. На 90 % дешевле, чем другие решения для чат-ботов для работы с документами.
• Полный API-интерфейс разработчика доступен для индивидуальной интеграции!

Скачать что угодноLLM

AnythingLLM — это платформа с открытым исходным кодом, лицензируемая по лицензии MIT, которая поддерживает быстрое локальное развертывание приложений крупных моделей на основе технологии Retrival Enhanced Generation (RAG).

Без вызова внешних интерфейсов и отправки локальных данных,Обеспечьте безопасность пользовательских данных。Нажмите здесь, чтобы скачать

Недавно AnythingLLM выпустила настольное приложение, которое можно загрузить и использовать на своем ноутбуке. В настоящее время поддерживаются операционные системы MacOS, Windows и Linux.

AnythingLLM по умолчанию использует LLama2 7B, Mistral 7B, Gemma 2B и другие модели через Ollama, а также может вызывать API-сервисы больших моделей, таких как OpenAI, Gemini, Mistral и так далее.

Я уже устанавливал Ollama раньше, поэтому мне просто нужно выбрать Ollama, ввести URL-адрес интерфейса API, который нужно вызвать, а затем выбрать модель Gemma, которую я загрузил ранее.

Введите: Ollama служит в терминале Ollama для настройки Ollama в режиме внутреннего сервера. Поскольку я включил его раньше, здесь сообщается об ошибке.

Ollama serve

Введите локальный адрес порта, название загруженной модели и число 4096 ниже соответственно.

AnythingLLM имеет встроенную встроенную модель all-Mini-L6-v2 без каких-либо настроек. Модель также можно скачать на HuggingFace. В то же время система также поддерживает встроенные модели OpenAI, LocalAi и Ollama.

Например, модель встраивания, доступная для загрузки и запуска на Ollama, — это nomic-embed-text, которая, как говорят, имеет лучшую производительность, чем text-embedding-ada-002 и text-embedding-3-small от OpenAI.

AnythingLLM по умолчанию использует встроенную базу данных векторов LanceDB. Это бессерверная векторная база данных, которая может быть встроена в приложения и поддерживает векторный поиск, полнотекстовый поиск и SQL. Мы также можем выбрать векторные базы данных, такие как Chroma, Milvus и Pinecone.

AnythingLLM может поддерживать PDF, TXT, DOCX и другие документы. Он может извлекать текстовую информацию из документа, сохранять ее в векторной базе данных с помощью моделей внедрения и управлять этими документами через простой интерфейс пользовательского интерфейса.

Для управления этими документами AnythingLLM вводит концепцию рабочего пространства, которое служит контейнером для документов. Документы можно использовать совместно внутри рабочего пространства, но изолировать между ними.

Среди них AnythingLLM может не только загружать документы, но и собирать информацию с веб-страниц. После создания нового нажмите на красную область ниже:

Здесь мы выбираем веб-страницу для загрузки, и ее обновление в рабочей области занимает около 10 минут.

Этот ответ можно считать удачным RAG, но он не очень точен. В дальнейшем его можно будет доработать и улучшить в плане отзыва и перестановки текста.

Еще один, на который стоит обратить внимание наточкада,Anythingподдерживатьмногопользовательский режим,Существует 3 типа управления разрешениями ролей.

• По умолчанию система создаст учетную запись администратора (Admin) с полными правами управления.
• Вторая роль — это учетная запись менеджера, которая может управлять всеми рабочими пространствами и документами, но не может управлять большими моделями, встроенными моделями и векторными базами данных.
• Обычные учетные записи пользователей могут взаимодействовать только с большими моделями на основе авторизованных рабочих областей и не могут вносить какие-либо изменения в рабочие области и конфигурации системы.

Подвести итог

Ollama и AnythingLLM — это два инновационных инструмента, предназначенных для упрощения локального развертывания и использования больших языковых моделей (LLM). Они отвечают на необходимость эффективного использования LLM для обработки задач на естественном языке в контексте быстрого развития технологий искусственного интеллекта.

Ollamaкак с открытым исходным кодомLLMСервисные инструменты,Он характеризуется комплексными функциями, легким весом и высокой простотой использования. Он инкапсулирует модель, конфигурацию и данные в файл модели.,Оптимизация использования графического процессора,Повышайте эффективность работы; занимайте меньше ресурсов и поддерживайте горячую загрузку модели;,Повышенная гибкость. Пользователи могут легко загружать пакеты программного обеспечения для Mac или Linux через официальный сайт.,Используйте образы Docker для развертывания в один клик. Ollama также предоставляет богатую библиотеку моделей.,Как Лама 2 и Лама 3. Пользователям удобно быстро запускать большие языковые модели локально.

AnythingLLMнодаMintplex Labs Inc. разработала чат-бот для документов корпоративного уровня. Он обеспечивает многопользовательское управление, обширную поддержку документации, эффективную оптимизацию затрат и удобство развертывания в облаке. Он поддерживает различные форматы документов, предоставляет два режима чата: диалог и запрос, имеет встроенную функцию цитирования и значительно снижает затраты за счет одновременной обработки и хранения документов. Пользователи могут загружать настольные приложения для нескольких операционных систем, которые содержат предустановленные модели и поддерживают доступ API к сторонним моделям, таким как OpenAI, Gemini и Mistral. Кроме того, AnythingLLM интегрирует векторную базу данных LanceDB для реализации управления документами и совместного использования с помощью концепции рабочего пространства.

В будущем, по мере того, как технология будет продолжать совершенствоваться и оптимизироваться, ожидается, что эти два инструмента добьются больших прорывов с точки зрения точности, производительности, пользовательского опыта и т. д., а также будут более плавно интегрироваться в различные сценарии приложений обработки естественного языка, помогая пользователям обрабатывать информацию более удобно и эффективно. Используйте LLM для решения сложных языковых задач и содействия углубленному применению и популяризации технологий искусственного интеллекта во всех сферах жизни.

Я участвую в последнем конкурсе эссе для специального учебного лагеря Tencent Technology Creation 2024. Приходите и разделите со мной приз!