При измерении длины объекта рулеткой длина является показателем измерения в этом сценарии. Мы можем описать эту длину в дециметрах, метрах или, более точно, сантиметрах или даже миллиметрах, в зависимости от сценария использования.

Как и в случае с другими формами измерения, измерение эффективности позволяет выбирать более точные показатели. Любые метрики, описанные в этой статье, и измерения, предпринятые для получения данных для этих метрик, должны быть контекстуальными и иметь смысл только в этом конкретном контексте.

При проведении первого теста производительности вы должны понимать, какие метрики необходимо дополнительно улучшить, какие еще показатели производительности нужно добавить и т. д.

Например, показатель времени ответа может быть включен в любой набор показателей производительности. Однако, чтобы сделать измерение времени ответа значимым и действенным, нам необходимо дополнительно определить измерение времени ответа на основе времени суток или периода времени, количества одновременных пользователей, объема обрабатываемых данных и т. д. индекс.

В конкретном тесте производительности метрики могут собираться на основе следующей информации:

Бизнес-среда (включая бизнес-процессы, поведение клиентов и пользователей, ожидания заинтересованных сторон и т. д.);

Операционная среда (включая технологии, необходимые для тестирования, и способы использования этих технологий);

Тестовая цель.

Обратите внимание, что тестирование в разных областях предъявляет разные требования к метрикам.

Например, метрики, выбранные для проведения теста производительности на международном веб-сайте электронной коммерции, обязательно будут отличаться от показателей, выбранных для тестирования производительности встроенной системы, которая контролирует функции медицинского устройства.

При классификации показателей тестирования производительности часто необходимо учитывать техническую среду, бизнес-среду или операционную среду, в которой оценивается производительность.

Ниже представлены общие показатели тестирования производительности в этих трех средах.

1. Техническая среда

Показатели теста производительности различаются в зависимости от технической среды. Общие технические среды включают в себя: браузер, мобильный терминал, Интернет вещей (IoT), настольный клиент, серверную часть, мэйнфрейм, базу данных и сеть. Помимо этого, тестирование производительности должно также учитывать характеристики среды, в которой работает прикладное программное обеспечение (например, встроенные системы).

Соответствующие метрики для технической среды следующие:

Время ответа, например время ответа для каждой транзакции, время ответа для каждого одновременно работающего пользователя и время загрузки страницы;

Использование ресурсов, таких как ЦП, память, использование пропускной способности сети, а также задержка в сети, доступное дисковое пространство, 10-кратное соотношение простоя и занятости потоков;

Критическая пропускная способность транзакций, которая использует процентное соотношение для выражения количества транзакций, которые могут быть обработаны за определенный период времени;

Время пакетной обработки, например время ожидания, время вывода, время ответа базы данных, время завершения;

Количество ошибок, влияющих на производительность;

Время завершения, например время, необходимое для создания данных, чтения данных, обновления данных и удаления данных;

Возможность загрузки общих ресурсов в фоновом режиме требует особого внимания в виртуализированной среде;

Метрики самого программного обеспечения, такие как сложность кода.

2. Деловая среда

С бизнес- или функциональной точки зрения показатели производительности могут включать следующие категории:

Эффективность бизнес-обработки, например скорость выполнения всего бизнес-процесса, включая обычные, резервные и нештатные процессы вариантов использования или бизнес-сценарии, пропускную способность данных, транзакций и других единиц выполнения работы, например обработку заказов в час, строк данных в минуту; Увеличение уровня соблюдения или нарушения Соглашения об уровне обслуживания (SLA), например количества нарушений соглашения в единицу времени;

Метрики, связанные с объемом использования, такие как процент глобальных или национальных пользователей, выполнивших задачи в течение определенного периода времени;

Индикаторы, связанные с используемым параллелизмом, например количество пользователей, одновременно выполняющих задачу;

Метрики, связанные с периодами использования, например количество заказов, которые можно обработать в периоды пиковой нагрузки.

3. Операционная среда

Показатели измерения эксплуатационной производительности теста производительности больше ориентированы на задачи для неуниверсальных пользователей. Показатели производительности для этих задач следующие.

Время, затраченное на рабочий процесс, например время, необходимое для запуска системной среды, резервного копирования данных или программного обеспечения, завершения работы и восстановления (например, восстановления после аварии) и т. д.;

Время, необходимое для восстановления системы, например время, необходимое для восстановления данных из резервной копии;

Время ответа на оповещения и предупреждения, например время, необходимое для выдачи оповещений и предупреждений после возникновения ошибки в системе.