Каждая тестовая шкала приносит определенные преимущества. Что касается масштаба тестирования, ее можно разделить на три категории: малые, средние и большие, как показано на рисунке ниже. Тесты разных масштабов прямо пропорциональны информации тестировщика. Чем больше масштаб, тем выше информация по всей системе. Чем больше масштаб, тем выше зависимость и медленнее скорость. Преимущества и недостатки каждой тестовой шкалы также перечислены только для справки и сравнения.

1. Масштабное тестирование

К преимуществам и недостаткам крупномасштабного тестирования относятся следующие:

Проверьте самое фундаментальное и важное: как система приложений работает с учетом внешних систем.

Они недетерминированы из-за зависимостей от внешних систем.

Широкий диапазон тестирования означает, что в случае неудачного выполнения теста будет сложно найти точную причину сбоя.

Подготовка тестовых данных может занять много времени.

Большие тесты — это операции более высокого уровня, и нецелесообразно переходить к конкретным областям пути кода, тогда как эта часть является особенностью небольших тестов.

2. Тест среднего размера

К преимуществам и недостаткам тестирования среднего размера относятся следующие:

Поскольку нет необходимости использовать мок-технологию и она не ограничена временем выполнения, данный тест является переходом от большого тестирования к малому тестированию.

Поскольку они выполняются относительно быстро, их можно запускать часто.

Их можно запускать в стандартных средах разработки, поэтому разработчики также могут легко их запускать.

Они полагаются на внешние системы.

Они по своей сути неопределенны из-за своей зависимости от внешних систем.

Они выполняются не так быстро, как небольшие тесты.

3. Небольшой тест

К преимуществам и недостаткам небольших тестов можно отнести следующее:

Чтобы его можно было легко протестировать, код должен быть ясным и понятным, с небольшими и целенаправленными функциями. Чтобы облегчить моделирование, необходимо четко определить интерфейсы между системами.

Поскольку они могут выполняться быстро, их можно запускать сразу же при возникновении изменений в коде, что позволяет обнаруживать дефекты на ранней стадии и обеспечивать своевременную обратную связь.

Они надежно работают в любых условиях.

Они имеют меньшую область тестирования, что позволяет легко тестировать пограничные сценарии и ошибки, такие как нулевой указатель.

У них есть специальные области, которые позволяют легко изолировать ошибки.

Не проводите интеграционное тестирование между модулями, это то, что делают другие типы тестирования (среднее тестирование).

Иногда сложно моделировать подсистемы.

При использовании макета или поддельной среды нет необходимости синхронизироваться с реальной средой.

Небольшие тесты обеспечивают превосходное качество кода, хорошую обработку исключений и элегантные отчеты об ошибках; крупные и средние тесты обеспечивают общее качество продукта и проверку данных; Ни один тип тестирования не может удовлетворить все потребности проекта. Именно по этой причине программы некоторых компаний поддерживают разумное соотношение между различными типами тестов. Для проекта неправильно использовать все большие сквозные автоматизированные тесты, а также неправильно использовать все небольшие модульные тесты.

Небольшие тесты обеспечивают превосходное качество кода, хорошую обработку исключений и элегантные отчеты об ошибках; крупные и средние тесты обеспечивают общее качество продукта и проверку данных;

Хороший способ проверить, имеет ли проект правильное соотношение малых, средних и больших тестов, — использовать покрытие кода. Покрытие тестового кода может создавать отдельные отчеты для небольших тестов, а также для средних и больших тестов. Отчет о покрытии покажет приемлемый результат покрытия для различных проектов. Если средние и крупные тесты имеют покрытие кода только 20%, а маленькие — почти 100%, это указывает на то, что проекту не хватает сквозной функциональной верификации. Если число результатов обратное, это означает, что этот проект сложно обновлять, расширять и поддерживать. Поскольку мелких тестов мало, на отладку и проверку базового кода уходит много времени. Инженеры по разработке тестов могут использовать те же инструменты, которые они используют для создания и запуска тестов, для генерации и просмотра результатов тестового покрытия, добавив дополнительный параметр в командную строку. Результаты покрытия будут храниться в облаке, и любой инженер сможет просмотреть эти отчеты через браузер в сетевой среде компании.

У некоторых крупных производителей есть много разных типов проектов, и у этих проектов разные потребности в тестировании. Соотношение между малым тестированием, средним тестированием и большим тестированием варьируется в зависимости от разных проектных команд. Это соотношение не является фиксированным, но обычно существует эмпирическое правило, принцип 70/20/10: 70% — маленькие тесты, 20% — средние тесты и 10% — большие тесты. Если проект ориентирован на пользователя, имеет высокий уровень интеграции или пользовательский интерфейс сложен, ему следует проводить больше средних и крупных тестов, если это базовая платформа или проект, ориентированный на данные, например, индексирование или сканирование веб-страниц; тогда лучше иметь большое количество маленьких тестов, а требований к количеству средних и больших тестов будет гораздо меньше.