в функциональном тестировании,Особенно при проверке конкретных функциональных требований или функциональных элементов пользовательской истории.,Часто нам необходимо четко определить ожидаемые результаты.,и соответствующим образом интерпретировать результаты испытаний,чтобы определить, пройден ли тест。Он использует заранее четко определенный ожидаемый результат в качестве эталона и сравнивает фактические результаты теста с этим эталоном.

Однако этот источник информации обычно отсутствует при тестировании производительности, и зачастую заранее не существует стандартного и уникального ожидаемого результата (т. е. эталонного).Не только заинтересованные стороны(Например, клиенты)Требования к производительности часто недостаточно четко сформулированы.,И есть большая вероятность, что многие бизнес-аналитики и владельцы продуктов не умеют генерировать требования. Определение ожидаемых результатов теста,Руководство, доступное тестировщикам, часто очень ограничено.

При оценке результатов тестирования производительности важно внимательно наблюдать и анализировать результаты. Поскольку первоначальные необработанные результаты могут ввести в заблуждение, а проблемы с производительностью могут быть скрыты за, казалось бы, хорошими общими результатами, тестировщикам необходимо заглянуть за пределы поверхности, чтобы докопаться до сути. Например, использование ресурсов может быть значительно ниже 75 % для всех критически важных ресурсов, которые могут стать узкими местами, но критические транзакции или варианты использования имеют низкую пропускную способность или длительное время отклика.

Результаты конкретного теста производительности зависят от типа выполняемого теста производительности, выбранных метрик и собранных данных.

1. Время ответа

Среднее время ответа: среднее время обработки всех запросов.

Максимальное время ответа: максимальное время, необходимое для обработки запроса.

Время ответа 90/95/99 процентиля: например, время, в течение которого дается ответ на 95 % запросов пользователей.

2. Пропускная способность

Транзакций в секунду (TPS, Transactions Per Second): количество транзакций, завершенных за единицу времени.

Запросов в секунду (RPS, Requests Per Second): количество запросов, обрабатываемых за единицу времени.

Пропускная способность обычно выражается через скорость передачи данных в секунду, например МБ/с или ГБ/с.

3. Количество одновременных пользователей

Максимальное количество онлайн-пользователей, которое система может поддерживать одновременно.

В зависимости от модели поведения пользователей количество одновременных пользователей, которых может поддерживать система, может быть разным.

4. Частота ошибок

Частота ошибок: количество ошибок, произошедших во время теста.

Тип ошибки: код состояния HTTP, сбой подключения к базе данных и другие типы ошибок.

5. Использование ресурсов

Использование ЦП: использование ЦП сервера.

Использование памяти: потребление памяти приложениями и системами.

Дисковый ввод-вывод: скорость чтения и записи диска, а также использование.

Пропускная способность сети: скорость передачи данных сетевого интерфейса.

6. Стабильность

Во время теста проверьте, стабильно ли работает система, нет ли простоев или перезапусков.

Производительность при длительной эксплуатации, например, при результатах стресс-тестов в течение 24 часов и более.

7. Масштабируемость

Будет ли производительность системы увеличиваться линейно, как ожидалось, при добавлении дополнительных аппаратных ресурсов.

Изменения общей производительности после добавления узлов в распределенную архитектуру.

8. Сравнительное сравнение

Сравнение производительности с предыдущими версиями или другими конкурентными продуктами.

Сравните с установленными целевыми показателями, чтобы увидеть, соблюдаются ли ожидаемые стандарты.

9. Индикаторы, связанные с пользовательским опытом

Время загрузки страницы: это очень важный показатель для веб-приложений.

Задержка, воспринимаемая пользователем: время с момента, когда пользователь инициирует запрос, до момента получения обратной связи.