Выше мы представилиКак развертывать большие модели с помощью графического процессора Tencent Cloud,Мы использовали платформу FastChat для развертывания модели ChatGLM3-6B.

Но обычно, когда мы выбираем модели, нам также необходимо оценить большие модели.

При оценке модели ИИ, помимо внимания к показателям производительности самой модели, нам также необходимо учитывать производительность, пропускную способность и параллелизм предоставляемых модельных сервисов. В этой статье рассказывается, как использовать JMeter для проведения стресс-тестирования и получения ключевых показателей QPS для последующего выбора модели и оптимизации производительности.

1. Введение в JMeter

JMeter Это инструмент тестирования с открытым исходным кодом, используемый для оценки и прогнозирования производительности веб-приложений. Он поддерживает различные методы нагрузочного тестирования, включая статическое тестирование и динамическое тестирование. Основные преимущества JMeter заключаются в следующем:

1. Кроссплатформенная поддержка：JMeterМожно найти вWindows、LinuxиmacOSПодождите, пока операционная система запустится,Поддерживает несколько языков одновременно.
2. Различные типы испытаний：JMeterподдерживать Различные типы испытаний,Включает нагрузочное тестирование、Тестирование производительности、Тестирование стабильности, тестирование параллелизма и т. д.
3. Простота в использовании：JMeterИнтерфейс дружелюбный и Простота в Использование, позволяющее пользователям быстро приступить к работе.

2. Установите Jmeter

2.1 Установите JDK

Сначала зайдите на официальный сайт, чтобы скачать JDK.

https://www.oracle.com/technetwork/java/javase/downloads/jdk13-downloads-5672538.html

Здесь следует отметить одну вещь:

Сжатый пакет предыдущей версии jdk1.8 будет генерировать два файла каталога, jdk и jre, после его загрузки и распаковки. Однако после Java 11 создается только файл каталога jdk, а файла каталога jre в настоящее время нет. можно вручную сгенерировать jre через командную строку.

После загрузки установочного пакета запустите cmd с правами администратора, перейдите в каталог установки jdk и выполните следующую команду:

bin\jlink.exe --module-path jmods --add-modules java.desktop --output jre

Теперь у него есть два файла: jdk и jre, как и в jdk1.8. Добавьте конфигурацию в переменные среды.

Java и нажмите Enter, чтобы отобразить информацию, связанную с Java; Javac + Enter отобразит информацию, связанную с компиляцией Java, что указывает на успешную установку.

2.2 Установите JMeter

Скачать с официального сайта：http://jmeter.apache.org/download_jmeter.cgi

Выберите двоичный файл для загрузки и разархивируйте его после загрузки.

После выбора zip-файла для загрузки разархивируйте сжатый пакет. Затем добавьте переменные среды:

Мой компьютер ---- Свойства ---- Дополнительно ---- Переменные среды ---- Системные переменные

（1）JMETER_HOME

D:\apache-jmeter-5.2.1\apache-jmeter-5.2.1

（2）CLASSPATH

%JMETER_HOME%\lib\ext\ApacheJMeter_core.jar;%JMETER_HOME%\lib\jorphan.jar;%JMETER_HOME%\lib\logkit-2.0.jar;

2.3 Запуск Jmeter

Найдите файл jmeter.bat в каталоге bin и дважды щелкните его, чтобы запустить. Откроются следующие два интерфейса. Не закрывайте интерфейс командной строки.

3. Использование Jmeter

После установки и запуска Jmeter мы можем протестировать наш сервис моделей. Согласно введению в предыдущей статье, теперь у нас есть сервис моделей ChatGLM3.

Далее проводим стресс-тест сервиса:

3.1 Установка языка

3.2 Добавить группу тем

Щелкните правой кнопкой мыши план тестирования -- Добавить -- Поток -- Группа потоков.

После добавления группы потоков вы увидите три свойства:

Количество потоков: это количество запущенных потоков.

Время нарастания (секунды): все потоки отправляют запрос в течение периода времени (количество циклов равно 1), а временной интервал запроса фиксирован = время нарастания/количество потоков.

Например, 10 потоков в секунду означают открытие 10 потоков за 1 секунду;

Например, 10 потоков за 5 секунд означают, что в секунду запускаются 2 потока;

Количество циклов: это количество запусков цикла потока в секунду.

Например, количество потоков (5), время разгона (1) и количество циклов (2) составляют 10 потоков в секунду, всего 10 потоков;

Например, количество потоков (10), время разгона (2) и количество циклов (2) составляют 10 потоков в секунду, всего 20 потоков;

Таким образом, количество параллелизма задается этими тремя значениями атрибута.

к этомутри Глубокое понимание параметрови Можно использоватьСправочная статья。

3.3 Добавить HTTP-запрос

3.4 Добавьте заголовок HTTP-запроса

3.5 Добавить дерево результатов

Добавьте дерево результатов просмотра, чтобы просмотреть возвращаемую информацию по запросу. Например, нажмите «Выполнить» (зеленый треугольник), чтобы просмотреть возвращаемую информацию.

3.6 Добавление таймера постоянной пропускной способности

Таймер постоянной пропускной способности позволяет JMeter выполняться с заданной пропускной способностью (то есть указать TPS, но здесь требуется указать количество выполнений в минуту, а не в секунду).

Только этот поток: контролирует пропускную способность каждого потока. Если выбран этот режим, общая пропускная способность равна установленной целевой пропускной способности, умноженной на количество потоков.

Все активные потоки: заданная целевая пропускная способность будет распределена между каждым активным потоком, и каждый активный поток будет ждать разумное время после завершения предыдущего запуска, прежде чем запуститься снова. Активные потоки — это потоки, работающие одновременно.

Все активные потоки в текущей группе потоков: по сути тот же вариант, что и «Все активные потоки». Единственное отличие состоит в том, что каждый активный поток будет ждать разумное время после завершения работы всех активных потоков, прежде чем запуститься снова.

Все активные потоки (совместно используемые): установленная целевая пропускная способность будет назначена каждому активному потоку в текущей группе потоков. Если в плане тестирования имеется только одна группа потоков, этот параметр имеет тот же эффект, что и параметр «Все активные потоки».

Все активные потоки в текущей группе потоков (общие): в основном то же самое, что и «Все активные потоки в текущей группе потоков», с той лишь разницей, что каждый активный поток будет ждать разумное количество времени после завершения предыдущего запуска всех активных потоков. прежде чем бежать снова бежать.

Здесь установлена ​​целевая пропускная способность. В сочетании с параметрами из 3.2 мы заранее устанавливаем 10 потоков в секунду, что составляет 600 в минуту, поэтому моя целевая пропускная способность здесь установлена ​​на 600.

3.7 Добавить сводный отчет

3.8 Создать html-отчет

Создать JTL-файл

 E:\program files\apache-jmeter-5.6.2\apache-jmeter-5.6.2\bin> .\jmeter -n -t HTTP-запрос.jmx  -l result.jtl

Создать HTML

 E:\program files\apache-jmeter-5.6.2\apache-jmeter-5.6.2\bin> .\jmeter -g result.jtl -o .\result

Вы можете видеть, что мы получили относительно полный отчет о тестировании, выполнив описанные выше шаги. С помощью отчета мы можем проанализировать TPS, максимальное время отклика и другую информацию о вашем использовании графического процессора. шаг Просто думаю о том, как улучшить производительность сервиса и увеличить количество запросов в секунду~

я участвуюНа третьем этапе специального тренировочного лагеря Tencent Technology Creation 2023 года будет проводиться конкурс сочинений. Соберите команду, чтобы выиграть приз!