1. Предисловие

в разработке программного обеспечения,Тесты производительности и тесты производительности являются неотъемлемой частью обеспечения качества программного обеспечения. сегодня,Всем порекомендую мощный инструмент——pytest-benchmark,Это помогает нам легко интегрировать эталонный тест в наш набор pytesttest.

pytest-benchmarkэто продукт, основанный наpytestрамкаплагин,Разработан специально для написания и выполнения тестов производительности или бенчмарк-тестов.,и собираем результаты。он может работать сpytestБесшовная интеграция,Позвольте персоналу тестировщиков легко проводить анализ производительности в знакомой среде.,Нет необходимости переключаться на другой специализированный инструмент для тестирования производительности.

Используяpytest.mark.benchmarkДекоратор,Персонал, занимающийся тестированием производительности, может легко добавить варианты использования теста производительности в pytestтестрамка. Этот плагин способен тестировать индикатор производительности кода.,Например, время выполнения, использование памяти и процессора и т. д.,и создавать подробные отчеты о производительности.

2. Возможности плагина pytest-benchmark

pytest-benchmarkИмеет много хороших функций,включать:

• Легко интегрировать：pytest-benchmarkкакpytestплагин,Может быть легко интегрирован в существующую pytestтестрамку.,Никаких серьезных изменений в исходном коде не требуется.
• Хранение и анализ результатов：Плагины могуттест Результат сохраняется,Для облегчения последующего анализа и сравнения. в то же время,Он также предоставляет инструменты командной строки и Python. API для анализа и визуализации результатов тестов.
• Пользовательская конфигурация：Пользователи могут настраивать по мере необходимостипроизводительностьтест Параметры,Например, количество раз, количество параллелизма и т. д.
• гибкость：pytest-benchmarkПоддержка одной функцииилинабор функцийпроизводительностьтест,И его можно легко комбинировать с другими плагинами и функциями pytest.
• Статистика：Обеспечивает минимальное время выполнения, например、Максимальное время выполнения、среднее время выполнения и т. д.Статистика,Помогает анализировать стабильность производительности и находить потенциальные узкие места производительности.
• Сравнение результатов：Удобен для различных функций.или Различные версии кодапроизводительностьконтраст,оценить эффективность улучшений.
• Мониторинг выбросов：Запишите количество выбросов в прогоне,Это помогает выявить нестабильности, возникающие в процессе тестирования.
• Количество итераций и запусков：покажи каждыйтест Функциональный Количество итераций и запусков, обеспечивающих точность и надежность испытаний.

3. Используйте pytest-benchmark для тестирования производительности.

Чтобы использоватьpytest-benchmarkруководитьпроизводительностьтест,Вам необходимо выполнить следующие шаги:

1. Установитьpytest-benchmark

Убедитесь, что в вашей среде есть Установить Понятноpytest,тогда пройдиpipЗаказ Установитьpytest-benchmarkплагин。

pip install pytest-benchmark

1. Написание тестов производительности

Создайте тестовую функцию,и использоватьpytest.mark.benchmarkДекораторотметить это какпроизводительностьтествариант использования。существоватьтествнутренняя функция,вызовbenchmarkфункцияи передаем необходимыеруководитьпроизводительностьтестилиэталонтест Целевая функция и ее параметры。Например:

import pytest
import pytest_benchmark

@pytest.mark.benchmark
def test_my_function(benchmark):
    result = benchmark(method1, argument1, argument2)
    assert result == expected_result

В приведенном выше примере,test_my_functionдапроизводительностьтестфункция,benchmarkдаpytest-benchmarkплагинпредоставил Декоратор。

1. Запустите тесты производительности

существовать Заказ行中使用pytestзапуск командытест。переключиться на включениетесткаталог файлов,Затем запустите команду pytest. Вы можете добавлять различные параметры для управления выводом и поведением теста.,Например:

• -v или --testverbose: вывести более подробную информацию о результатах.
• -s или --capture=no: отобразить вывод печати в тесте.
• -n ЧИСЛО: использовать ЧИСЛО потоков для параллельного выполнения тестов.
• --benchmark-autosave: автоматически сохранять результаты тестов в файл.

в,Вы можете пройти--benchmark-autosaveварианты будуттест Сохраните результаты в указанный файл для последующего анализа.。

Например, введите команду:

pytest --benchmark-autosave=results.json

Будут выполнены тесты производительности, а результаты будут сохранены в файле results.json.

1. Анализируйте результаты испытаний

Анализируйте различные выходные данные статистики производительности с консоли. Например, вы можете просмотреть ключевые показатели, такие как время выполнения и пропускная способность каждой тестовой функции, а также тенденции изменения этих показателей.

Среди них несколько ключевых показателей эффективности:

• Минимальное время выполнения (мин): самое короткое время среди всех запусков тестов. Это может быть показателем производительности в лучшем случае.
• Максимальное время выполнения(max)：всетестсамое продолжительное время работы。Это помогает выявить потенциальныесуществоватьизпроизводительностьузкое место。
• Среднее время выполнения (среднее): среднее время выполнения всех тестов, которое является важным показателем стабильности производительности.
• Стандартное отклонение (stddev): отражает степень изменения времени работы.,Чем меньше стандартное отклонение,Это означает, что время выполнения теста более стабильное.
• Медиана (медиана): среднее значение всех отсортированных значений времени выполнения тестов.,Не чувствителен к экстремальным значениям,Может лучше отражать типичный уровень производительности.
• Межквартильный размах (IQR): описывает диапазон распределения данных, рассчитываемый как разница между верхним и нижним квартилем.
• Выбросы: количество значений, которые значительно отклоняются от других наблюдений, что может указывать на нетипичное поведение или проблему.
• Операций в секунду (OPS): указывает, сколько раз тестовый метод вызывается в течение определенного периода времени (например, 1 секунды), что отражает возможности обработки системы.
• Раунды: по умолчанию pytest-benchmark запускает функцию тестирования несколько раз, чтобы получить точные данные о производительности.
• Итерации: количество раз выполнения тестовой функции при каждом запуске.

Всесторонне анализируя эту статистику,Вы можете получить полное представление о производительности кода.,А также оптимизировать и улучшать результаты тестов. Если требуется дальнейший углубленный анализ,Вы можете использоватьpytest-benchmarkПредоставленные инструменты командной строкиилиPython API для детального просмотра различных данных.

Кроме того, вы также можете рассмотреть возможность создания отчетов о тестировании в формате JUnitXML для интеграции с инструментами непрерывной интеграции, такими как Jenkins, для автоматического мониторинга производительности.

4. Резюме

через эти шаги,Вы можете использоватьpytest-benchmarkкодироватьпроизводительностьруководитьтести сравнить。

Короче говоря, pytest-benchmark — это мощный и простой в использовании плагин pytest, который поможет вам легко выполнять тесты производительности в среде тестирования pytest, а также собирать и анализировать результаты. Независимо от того, занимаетесь ли вы оптимизацией кода, поиском узких мест в производительности или тестированием производительности, pytest-benchmark — это инструмент, который стоит рассмотреть.