Ранее я уже рассказывал об Ollama. На этот раз я поделюсь еще одним инструментом для локального запуска больших моделей — LM Studio.

Что такое ЛМ Студия?

LM Studio — это настольное приложение для разработки и экспериментирования с LLM на вашем компьютере.

Ключевые функции

• Настольное приложение для запуска локальных LLM
• Знакомый интерфейс чата
• Функция поиска и загрузки (через Hugging Face 🤗)
• Локальный сервер, который может прослушивать аналогичные конечные точки OpenAI.
• Система управления конфигурацией локальных моделей

Системные требования

LM Studio обычно поддерживает компьютеры Apple Silicon Mac, ПК с Windows x64/ARM64 и ПК с Linux x64.

macOS

• Чип: Apple Silicon (M1/M2/M3/M4).
• macOS 13.4 или выше.
  • для MLX Модель,нуждаться macOS 14.0 или выше.
• Рекомендуется 16 ГБ+ памяти.
• Возможно, вы по-прежнему сможете использовать LM Studio на Mac с 8 ГБ памяти, но придерживайтесь моделей меньшего размера и скромных размеров контекста.
• Компьютеры Intel Mac в настоящее время не поддерживаются.

Windows

LM Studio поддерживает системы архитектуры x64 и ARM (Snapdragon X Elite).

• ЦП: требуется поддержка набора инструкций AVX2 (для x64).
• ОЗУ: LLM могут потреблять большие объемы ОЗУ. Рекомендуется не менее 16 ГБ оперативной памяти.

Linux

• LM Studio для Linux распространяется как AppImage.
• Требуется Ubuntu 20.04 или выше.
• Поддерживает только x64, aarch64 пока не поддерживается.
• Версии Ubuntu выше 22 плохо протестированы.
• ЦП: центральный процессор
• LM Studio по умолчанию поддерживает AVX2.

Как установить ЛМ Студию?

LM Studio доступна для macOS, Windows и Linux.

Перейти кСтраница загрузкии скачать Применимо Вы пользуетесь установщиком системы.

Установить китайский

Настройки нижнего правого угла

Установить каталог модели

В каталоге модели лучше всего не иметь специальных китайских символов, а лучше всего использовать английские буквы.

Скачать модель

Если у вас есть доступ к иностранным сайтам

Зеркало сайта скачать

https://hf-mirror.com/

Загрузите модель gguf и поместите ее в заданный ранее каталог модели.

Выбор модели

Размер файла модели меньше размера вашей собственной видеопамяти, но эффект однозначно будет лучше, если он будет ближе к размеру видеопамяти.

Модель GGUF

GGUF, полное название унифицированного формата, созданного GPT, — это новый формат файлов, специально используемый для хранения и обмена данными больших моделей машинного обучения. Этот формат оптимизирован для быстрой загрузки и сохранения моделей, что делает его более эффективным для вывода. GGUF может иметь несколько разных версий квантования: Q2, Q3, Q4, Q5, Q6, Q8. Эти числа представляют количество цифр веса модели. Чем больше количество цифр, тем выше точность модели. но места для хранения и вычислений требуется Чем больше ресурсов.

Не все модели в формате gguf можно запустить с помощью LM Studio. Вы можете открыть ссылку ниже, где все модели можно запустить с помощью LM Studio: https://hf-mirror.com/lmstudio-community *Квантование относится к преобразованию модели. в Преобразуйте числа высокой точности в числа низкой точности, чтобы уменьшить объем памяти и вычислительные требования модели.

Эту статью написал Маленькая Ма создать, принять Атрибуция Creative Commons 4.0 Лицензировано по международному лицензионному соглашению. Если не указана перепечатка/источник, все статьи на этом сайте являются оригинальными или переведены с этого сайта. Обязательно подпишитесь перед перепечаткой.