Предисловие

В этой статье в основном рассказывается о том, как быстро развернуть инструмент запуска большой языковой модели Ollama с открытым исходным кодом в системах Windows и установить Open WebUI в сочетании с программным обеспечением для проникновения в интрасеть cpolar для получения доступа к llama2, Qianwenqwen и т. д., которые вы создали в локальной интрасети в Среда общедоступной сети. Среда выполнения большой языковой модели.

В последние годы, с появлением ChatGPT, большая языковая модель LLM (Large Language Model) также стала горячей темой в области искусственного интеллекта. Многие крупные производители также запустили свои собственные большие языковые модели и сделали их более или менее открытыми. исходный код. Моя собственная большая языковая модель. Сегодня я поделюсь инструментом Ollama, который в последнее время очень популярен и с помощью которого новичкам легче приступить к локальному развертыванию и запуску локального LLM.

Локальное выполнение больших языковых моделей имеет множество преимуществ:

напримерМожет защитить конфиденциальность、Никакие сборы не взимаются、Может игнорировать проблемы с сетью、Вы можете попробовать различные модели с открытым исходным кодом.и т. д.。

Ollama поддерживает текущие основные крупные модели с открытым исходным кодом, такие как llama2, Qianwenqwen, Mistral и т. д., и может быть развернут в системах Windows, Linux и MacOS. Стабильность и удобство очень хорошие. Давайте поделимся его установкой и применением в системе Windows.

【Видеоурок】

Компьютеры с системой Windows используют Ollama+OpenWebUI для быстрого создания локальной модели большого языка для интеллектуального чата с искусственным интеллектом.

1. Бегите Оллама

Среда установки для этой статьи: Windows 10 Professional Edition.

скачать: Адрес загрузки Олламы: https://ollama.com/download

Нажмите «Windows» на странице загрузки, затем нажмите кнопку «Загрузить».

Установить: После завершения загрузки дважды щелкните загруженный установщик.

Нажмите «Установить», чтобы установить.

После завершения установки приглашение отсутствует. Открываем терминал. В этой статье в качестве примера используется Windows PowerShell. Вы также можете использовать другие:

Теперь, когда Ollama установлена, нам нужно ввести в терминал следующую команду, чтобы запустить большую языковую модель для тестирования. В качестве примера мы возьмем Qianwen, который относительно хорошо работает на китайском языке. Вы также можете использовать другие модели.

ollama run qwen

можно увидеть,Система загружает модель qwen (и сохраняет ее на диске C).,C:\Users<username>.ollama\models Если вы хотите изменить путь по умолчанию,Может быть установлен с помощьюOLLAMA_MODELSВнести изменения,Затем перезапустите терминал,Перезапустите службу оллама. )

setx OLLAMA_MODELS "D:\ollama_model"

После загрузки модели мы можем ввести вопросы в терминал и использовать их:

На этом этапе локальное развертывание ollama в Windows и запуск модели большого языка qwen завершены. Это делается одним щелчком мыши, и новичкам очень удобно работать с большими языковыми моделями.

2. Установите OpenWebUI.

Однако сейчас мы можем использовать его только в терминале, и рабочий интерфейс может быть не таким красивым, как ChatGPT. Если мы сможем использовать веб-страницу для взаимодействия, взаимодействие с пользователем будет лучше, и мы также сможем сохранить предыдущие записи чата и. просмотрите их для запроса.

В ответ на эту ситуацию мы можем развернуть проект Open WebUI в Windows, чтобы реализовать интерактивный интерфейс, аналогичный chatgpt.

В этом руководстве в качестве примера используется проект Open WebUI. Его прежнее название было Ollama WebUI. Можно понять, что он изначально был специально адаптирован под WebUI Олламы, и его интерфейс больше похож на друзей, привыкших к чату gpt. Конечно, вы также можете выбрать другие веб-интерфейсы и поделиться ими, когда у вас будет такая возможность.

Как установить Open WebUI в системе Windows:

2.1 Установите Docker в системе Windows

первый,Если вы еще не пробовали Docker,Для продолжения вам необходимо выполнить следующие три шага:

Шаг 1. Запустите Hyper-v.

Откройте панель управления и выберите «Включить» или «Функции Windows» на странице «Программы и компоненты».

Проверьте Hyper-V, платформу виртуальных машин, подсистему Linux и нажмите «ОК».

Затем перезагрузите компьютер.

Шаг 2. Установите WSL

Откройте powershell, запустите командное окно от имени администратора, введите

wsl --update

Установить

wsl --install

Затем снова перезагрузите компьютер.

Шаг 3. Посетите официальный сайт Docker для загрузки.

Нажмите ссылку для скачивания: https://docs.docker.com/desktop/install/windows-install/.

Выберите последнюю версию Windows:

После завершения загрузки,двойной щелчок Установить Программа продолжается Установить,Если это ваш первый раз Установить,Установить предложит вам перезагрузить компьютер.,После перезагрузки нажмите на рабочий столDocker Значок на рабочем столе: выберите вход напрямую без регистрации.

Если после открытия Docker Desktop в левом нижнем углу отображается зеленый цвет, это означает, что мы добились успеха:

2.2 Развертывание открытого веб-интерфейса с помощью Docker

Как вы можете видеть на странице GitHub Open WebUI https://github.com/open-webui/open-webui, если ваши Ollama и Open WebUI находятся на одном хосте, используйте показанную ниже командную строку для быстрого запуска это локально. Для развертывания:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Теперь мы открываем терминал, например powershell, затем набираем docker и нажимаем Enter.

можно увидеть Эта команда выполняется успешно,Описание dockerУстановить удалось.

Затем скопируйте и вставьте приведенную выше команду для развертывания Open WebUI в докере в терминал и нажмите Enter.

Затем дождитесь завершения установки: как показано ниже.

Установить После завершения,существоватьDocker Открытое можно увидеть на рабочем столе Адрес веб-интерфейса WebUI: https://localhost:3000.

После нажатия в браузере откроется интерфейс входа:

Нажмите «Зарегистрироваться», чтобы зарегистрироваться. Запомните свой номер счета, адрес электронной почты и пароль. В следующий раз вам понадобится адрес электронной почты и пароль:

Затем нажмите «Создать учетную запись», чтобы создать учетную запись: Затем вы можете использовать Open WebUI, аналогичный интерфейсу Chatgpt в браузере!

Нажмите «Настройки» в правом верхнем углу, чтобы изменить язык текущего интерфейса на упрощенный китайский: затем нажмите «Сохранить».

Нажмите знак плюс + рядом с моделью выше, чтобы увеличить размер модели.,Нажмите кнопку раскрывающегося списка, чтобы выбрать модель установки, которую вы используете в данный момент.,Далее вы можете с радостью пообщаться с ai Понятно!

3. Установите инструменты проникновения в интранет.

На этом этапе мы успешно завершили развертывание Open с помощью Docker в локальной системе Windows. WebUI взаимодействует с инструментом больших моделей Ollama! Но если вы хотите выйти на улицу, вы можете использовать Ollama в любое время и в любом месте. Open WebUI,Тогда вам нужна помощьcpolarпроникновение в интранетинструмент Чтобы получить доступ к общедоступной сети Понятно!Далее мы познакомим вас с тем, как Установитьcpolarпроникновение в интранет И получите доступ к общедоступной сети！

Вот шаги для установкиcpolar:

Адрес официального сайта cpolar: https://www.cpolar.com

Нажмите, чтобы войти на официальный сайт cpolar,Нажмитебесплатно использоватьЗарегистрировать аккаунт,и скачайте последнюю версию cpolar

После успешного входа в систему нажмите, чтобы загрузить cpolar локально, и выберите «Установить» (по умолчанию — «Установить полностью»). Для этого руководства выберите загрузку версии для Windows.

cpolarУстановитьпосле успеха,Посетите http://localhost:9200 в браузере.,использоватьcpolarВход в аккаунт,После входа в систему вы можете увидеть конфигурацию интерфейса cpolar web., интегрированный в Интернет Просто настройте интерфейс управления.

Затем настройте общедоступный сетевой адрес Open WebUI.

После входа в систему нажмите «Управление туннелем» — «Создать туннель» на левой панели управления,

Создайте публичный туннель http-адресов для ollama1:

• Имя туннеля: ollama1 (имя можно настроить, будьте осторожны, не дублируйте существующее имя туннеля)
• Протокол: выберите http
• Локальный адрес: 3000 (адрес для локального доступа)
• доменное nameType: Свободный выбор случайного доменного имени имя
• Регион: Выберите Китай Топ

После успешного создания туннеля щелкните статус слева — список онлайн-туннелей, чтобы просмотреть сгенерированный адрес доступа к общедоступной сети. Существует два метода доступа: http и https:

Используйте любой из вышеуказанных общедоступных сетевых адресов для входа в систему и доступа к браузеру на своем мобильном телефоне или любом устройстве, и вы сможете успешно увидеть интерфейс Open WebUI. Создается такой общедоступный сетевой адрес, к которому можно получить удаленный доступ. cpolar используется доменное имя, вам не нужно самостоятельно приобретать облачный сервер, вы можете получить доступ к Open WebUI в публичной сети!

краткое содержание

Если нам понадобится удаленный доступ к Open WebUI в течение длительного времени, поскольку только что созданный адрес является случайным, он изменится через 24 часа. Кроме того, его URL-адрес генерируется из случайных символов и его нелегко запомнить. Если вы хотите превратить доменное имя в фиксированное имя субдомена второго уровня и не хотите каждый раз заново создавать туннель для доступа к Open WebUI, мы можем создать фиксированный общедоступный сетевой адрес для решения этой проблемы.

4. Создайте фиксированный адрес общедоступной сети.

Далее мы настраиваем для него фиксированный адрес HTTP-порта. Этот адрес не будет меняться, что позволяет легко делиться им с другими для просмотра развернутых проектов в течение длительного времени без необходимости многократного изменения адреса сервера каждый день.

Для настройки фиксированного адреса порта http необходимо обновить cpolar до пакета профессиональной версии или выше.

Войдите на официальный сайт cpolar.,Нажмите «Зарезервировать» слева.,Выберите сохранение дочернего доменного имени второго уровня., установить вторичное дочернее доменное имя имя имя, нажмите для сохранения, после успешного резервирования поддочернее доменное второго уровня сохранится. имяимя

После успешного резервирования скопируйте имя успешно зарезервированного субдомена второго уровня: myollama. Вы также можете указать любое понравившееся имя.

Вернитесь в интерфейс управления веб-интерфейсом Cpolar, нажмите «Управление туннелями» — «Список туннелей» на левой панели управления, найдите туннель, который нужно настроить: ollama1, и нажмите «Изменить» справа:

Измените информацию о туннеле и настройте в туннеле успешно зарезервированное имя поддомена второго уровня.

• доменное nameType: выберите дополнительный подтип доменное. имя
• Sub Домен: укажите дочерний домен второго уровня, который был успешно сохранен. имя：myollama

Нажмитевозобновлять(Уведомление,Просто нажмите один раз, чтобы обновить,Повторно отправлять не нужно)

После завершения обновления откройте список онлайн-туннелей. В это время вы можете видеть, что адрес общедоступной сети изменился, а имя адреса также стало именем домена с фиксированным именем субдомена второго уровня:

Наконец, мы используем фиксированный https-адрес общедоступной сети для доступа и видим, что доступ успешен. Таким образом, устанавливается фиксированный и постоянный адрес общедоступной сети, и к локально развернутому открытому WebUI можно получить удаленный доступ в общедоступном месте. сетевое окружение в любое время и в любом месте!

Выше описано, как установить Open на локальную УстановитьOllama в системе Windows и использовать Docker для его развертывания. WebUI в сочетании с инструментом проникновения в интранет cpolar реализует доступ к общедоступной сети к локальному LLM и настраивает фиксированный адрес общедоступной сети поддомена второго уровня для реализации всего процесса удаленного доступа. Если у вас есть какие-либо вопросы, пожалуйста, оставьте. сообщение для обсуждения.