Стресс-тестирование основных показателей эффективности и отраслевых стандартов
Стресс-тестирование основных показателей эффективности и отраслевых стандартов

При проведении стресс-тестирования начинающие тестировщики часто испытывают стресс, читая отчет: что означает такое количество показателей теста производительности и каким стандартам они должны соответствовать?

В этой статье будут объединены фактические отчеты о стресс-тестах, чтобы помочь вам быстро понять основные показатели производительности во время стресс-тестирования, как интерпретировать этот показатель и стандарты, которые должны быть достигнуты в нормальных обстоятельствах.

Пример отчета онлайн-платформы стресс-тестирования Uce
Пример отчета онлайн-платформы стресс-тестирования Uce

Показатель 1: Время ответа

Процесс тестирования производительности — это процесс запроса, который имитирует реальную точку зрения пользователя. Под «временем ответа» запроса понимается весь промежуток времени с момента установления соединения с тестируемой службой, отправки содержимого запроса, ожидания ответа службы и, наконец, получения полного обратного пакета.

Здесь следует отметить, что время ответа интерфейса, обычно рассматриваемое разработчиками, представляет собой промежуток времени с момента получения службой запроса до момента выдачи запроса. На самом деле это «подмножество» «времени ответа» в тесте производительности. отчет.

Среднее время ответа — один из важных показателей в отчете. Метод расчета заключается в расчете среднего времени ответа всех запросов в течение всего процесса стресс-тестирования.

Помимо среднего времени ответа, стресс-тестеры обычно также обращают внимание на минимальное, максимальное, 90%, 95% и 99% время ответа. Метод расчета заключается в сортировке времени ответа всех запросов от малого к большому. Минимальные, 90%, 95%, 99% и максимальные данные квантилей — это значения вышеуказанных показателей. Например, время ответа 95 % означает, что время ответа 95 % запросов в течение всего стресс-теста меньше этого значения.

Как следует анализировать время отклика и какие стандарты должны быть достигнуты в реальном бизнесе?

На рисунке представлен скриншот отчета о стресс-тестировании реального интерфейса онлайн-операций Tencent. В ходе 5-минутного одновременного стресс-теста с участием 5000 пользователей среднее время ответа составило 48 миллисекунд, а уровень отказов составил менее 1%. этот показатель соответствует ожиданиям бизнеса).

Стресс-тестерам необходимо проанализировать периодическое длительное время отклика на диаграмме тенденций, а разработчики связей могут отслеживать и анализировать конкретные причины на основе идентификатора трассировки.

Время ответа тесно связано с качеством обслуживания клиентов. Говорят, что когда скорость загрузки страницы превышает 1 секунду, поисковая оптимизация понижает рейтинг сайта.

Хотя не существует строгих универсальных стандартов по времени отклика, здесь мы приводим некоторые общеотраслевые стандарты в качестве справочного материала.

  • Для большинства предприятий интернет-индустрии среднее время отклика интерфейсов обычно лучше, чем в других отраслях. Время отклика основных интерфейсов обычно составляет менее 200 миллисекунд, обычных интерфейсов — менее 500 миллисекунд, а некоторых специальных интерфейсов — меньше. желательно менее 1 секунды. В случае превышения соответствующих стандартов персоналу исследований и разработок необходимо расширить услугу или оптимизировать ее производительность.
  • Для отраслей, не связанных с Интернетом, стандарты времени отклика должны быть смягчены, но обычно рекомендуется, чтобы время отклика основных интерфейсов было менее 500 миллисекунд, обычных интерфейсов — менее 1 секунды, а специальные интерфейсы не должны превысить 3 секунды, в противном случае это сильно повлияет на удобство использования.

Показатель 2: Пропускная способность (TPS)

Пропускная способность измеряет, сколько запросов тестируемая служба может обработать в единицу времени, поэтому она является важным индикатором производительности службы. Пропускная способность обычно измеряется с помощью TPS во время стресс-тестирования.

Что такое ТПС? Полное название TPS — «Транзакция в секунду», которое представляет собой количество транзакций, обрабатываемых тестируемой службой в секунду. Метод расчета TPS заключается в разделении общего количества транзакций в течение периода стресс-тестирования на общее количество секунд. стресс-тест для получения количества транзакций в секунду.

В процессе стресс-тестирования платформа стресс-тестирования Youce будет рассчитывать TPS текущей секунды каждую секунду. После завершения процесса стресс-теста минимальный и максимальный TPS являются минимальным и максимальным TPS. Среднее значение TPS можно получить путем усреднения. .

Здесь необходимо отметить, что,Показатели TPS необходимо анализировать вместе с количеством параллельных потоков, настроенных при стресс-тестировании, то есть количеством симулируемых пользователей. Когда тестируемая служба не достигает узкого места, чем больше количество потоков, тем выше TPS.Приведите пример,Компания со средним временем ответа 200 миллисекунд,Если моделируется только 1 пользователь для отправки давления,Тогда TPS равен 5,Очевидно, не отражает конечный уровень пропускной способности службы.

Обычно мы продолжим увеличивать количество потоков и исследовать верхний предел TPS как индикатора пропускной способности службы в текущей конфигурации развертывания, при условии, что частота ошибок соответствует ожиданиям.

Так как же проанализировать диаграмму тренда TPS в отчете? Каких стандартов следует достичь?

На рисунке представлен скриншот отчета о стресс-тестировании определенного бизнес-интерфейса.,Режим градиентного усиления.,Также известен как режим «высокого касания».,То есть, постепенно увеличивая объем параллелизма,Изучите узкое место в пропускной способности тестируемой службы. Как показано на картинке,Во время первого увеличения количества параллелизма пропускная способность TPS значительно возросла, но в ходе последующего процесса «восхождения» пропускная способность в основном оставалась стабильной, что показывает, что пропускная способность тестируемого интерфейса достигла узкого места.

TPS обычно устанавливается в соответствии с потребностями бизнеса.,Например, если вы проанализируете максимальную ценность реальных данных онлайн-бизнеса в истории этого бизнеса,,Умножьте определенный буфер в качестве цели этого стресс-теста. Или для действий или функций, которые еще не доступны в сети.,Количество пиковых запросов, оцененное персоналом продукта или эксплуатации, умножается на определенноеbufferВ качестве цели этого стресс-теста。Буферное значение обычно превышает 1,5-3 раза.,Зависит от профиля риска.

Здесь мы также приводим некоторые ситуации TPS для распространенных типов бизнеса.,Только для справки。В электронной коммерции или крупномасштабной операционной деятельности, такой как флэш-продажи, TPS обычно может достигать миллионов из-за мгновенных пиковых запросов. Для обычных интернет-сервисов пропускная способность обычно колеблется от 10 000 до 100 000, в зависимости от важности бизнеса. Для отраслевых продуктов, не относящихся к Интернету, или небольших систем, поскольку число пользователей невелико, TPS обычно составляет менее 50 000.

Показатель 3: Частота отказов

Частота отказов — наиболее понятный и наиболее важный показатель в процессе тестирования производительности.

Частота неудач рассчитывается путем деления общего количества неудачных запросов на общее количество запросов. Обычно стандарт представляет собой относительно строгое требование 100% успеха или относительно приемлемую частоту отказов менее 1%, то есть один пользователь столкнется с ошибкой в ​​100 запросах служб.

Следует отметить, что многие стресс-тестеры просто используют код ответа HTTP в качестве критерия оценки: 200 означает успех, а другие — неудачу. На практике часто бывает, что код ответа 200, но результат ответа не соответствует ожиданиям. Поэтому стресс-тестерам необходимо настроить подробные утверждения и описания ошибок на основе бизнес-логики, чтобы точно оценить частоту отказов.

Подведите итог:

Независимо от того, какой это показатель, самое главное – не измерить, соответствует ли сам показатель стандартам, а оценить, соответствует ли тестируемая система ожиданиям посредством показателей, а также анализа и позиционирования конкретных проблем. Необходимо найти и устранить основную причину проблемы, максимально проверив журналы, трассировку ссылок и другие методы.

Как показано в примере ниже, проанализируйте конкретные причины на основе конкретного запроса и информации ответа на запрос об ошибке. А благодаря отслеживанию ссылок можно точно обнаружить проблемы.

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.