Практика точного тестирования бизнес-сферы Dewu
Практика точного тестирования бизнес-сферы Dewu

1. Общие сведения

Поскольку существует множество случаев совместного создания нескольких доменов, с одной стороны, приложения продолжают расширяться по мере развития бизнеса, и сложность каждого кода приложения будет продолжать увеличиваться. Как точно и всесторонне определить сферу воздействия кода. модификации будут становиться все более важными. С другой стороны, процесс совместного строительства. Если влияние общих изменений в каждой области невозможно точно оценить, будут пропуски испытаний, если информация в каждой области асимметрична, одна сторона может измениться и; другая сторона не будет знать об этом, что приведет к некоторым последствиям, вызванным неадекватной оценкой. Основываясь на вышеизложенном, внедрение точных практик платформы тестирования в торговой сфере может помочь QA сканировать область изменений интерфейса разработки для каждой версии и может эффективно улучшить охват и надежность тестирования.

На основе исследования и практики точного тестирования адресов торговцев во втором квартале и достижения определенных преимуществ в третьем квартале была расширена крупномасштабная практика. Поэтому, исходя из основных бизнес-потребностей торговцев, были выбраны и использованы четыре основных приложения. накоплено несколько непрерывных итеративных данных о процессах и результатах. Ниже приведены некоторые практические данные и опыт использования платформы прецизионного тестирования после нескольких итераций.

2. Точная практика тестирования в торговой сфере

Блок-схема тестирования

Точный план реализации теста

Точно тестируйте узлы приложений

После теста, до дыма:

  • В соответствии со службой, которая меняет документ оценки, извлеките и подтвердите область изменения;
  • Уточните у разработчика, являются ли изменения интерфейса разумными, и уточните объем тестирования;
  • Подтвердите точность платформы;
  • Утвердить перечень позиций, которые необходимо дополнить автоматизацией;

До завершения раунда тестирования:

  • Осуществляется автоматизация модификаций интерфейса, проходимость 100%;
  • Убедитесь, что охват услуг по внесению изменений составляет 75 %.

Вклад точного тестирования и разница до и после внедрения

  • Подтвердите объем измененного интерфейса и уточните объем тестирования;
  • Добавлен новый интерфейс неавтоматизированного изменения для точного получения результатов автоматического выполнения измененного интерфейса;
  • Код, который улучшает параметры обслуживания и спроса.

3. Данные итерации продавца

положительная доходность

Богатые варианты использования

Помогите нам дополнить сценарии тестирования и варианты использования, а также избежать пропуска тестов из-за неточностей в коде или ручной оценки.

Пример 1: В ходе итерации было обнаружено, что интерфейс был затронут. Техническое решение не отразило изменения. Измененный интерфейс имеет логику порядка проверки. Необходимо добавить сценарий регрессии. сделаны. 1 Ни один из интерфейсов не оценивался, а остальные интерфейсы рекомендуется добавлять и изменять обычным образом.

Зона воздействия: Для фильтрации заказов на аудит с контролем риска необходимо вернуться на сцену и подтвердить, нормально ли фильтруются заказы на аудит. Если переход нормальный и заказа на аудит нет, в техническом решении нет записи об этом изменении интерфейса.

доход: Подтвердите зону воздействия, чтобы убедиться, что некоторые неоцененные сценарии охвачены, чтобы избежать возможных онлайн-проблем.

Платформа рекомендует интерфейс, выходящий за рамки технического решения:

Позже подтвердилось, что изменения действительно были:

Точность платформы

Точность:a/(b+c) *100% (a: Количество интерфейсов изменения, рекомендованное платформой b: Количество новых интерфейсов, c: Изменено количество старых интерфейсов);

Текущая точность платформы:С последней итерацией 528 Данные, например, номер изменения интерфейса 18+, рекомендуется 15+, средняя точность: 80% о;

Ниже представлена ​​версия 526 службы Groot с более чем 15 изменениями интерфейса и более чем 15 рекомендациями по платформам, все они успешно рекомендованы с точностью 100%;

Платформа рекомендует список из более чем 10 интерфейсов, включая более 5 бэкдор-интерфейсов для обработки данных инвентаризации.

Подводя итог, с точки зрения рекомендаций по платформе и фактических разработанных изменений интерфейса, текущий уровень точности рекомендаций для определенной сервисной платформы составляет 100 %, что помогает QA точно подтвердить количество изменений интерфейса и точно определить область тестирования.

Богатые случаи автоматизации

Рекомендуется включить новый интерфейс Dubbo/Http и старый интерфейс Dubbo/Http. Автоматизированный корпус был завершен для измененного интерфейса, а выполнение автоматизации является более точным; незавершенная автоматизация может быть направлена ​​​​налево, а техническая часть. решения можно сравнить для проверки на недостатки ;Количество автоматизированных дел, перенесенных влево: 50+.

Найдена проблема

Перехвачено 2 действительных вопроса: соответственно передано другим отделам. В разработке кода хранилища участвуют несколько доменов. В случае совместного создания нескольких доменов невозможно точно оценить масштаб воздействия, вызванного изменениями в каждом домене. С помощью точных рекомендаций можно охватить масштаб воздействия. , сосредоточив внимание на автоматизированном анализе результатов измененного интерфейса, экономя деньги. Окружающая среда и другие случаи влияют на время, вызывая возврат проекта автоматизации к старым функциям, заранее выявляя проблемы.

Предварительная осведомленность: после тестирования соответствующая автоматизация запускается через интерфейс изменений, рекомендованный платформой, и проблема, возникающая в результате перенесенного кода, перехватывается заранее, чтобы снизить последующие риски.

Помощь в тестировании: после тестирования версии 526 платформа рекомендовала внести изменения в интерфейс и автоматизировать случаи. Было обнаружено, что новый код требований повлияет на существующие функции после объединения, и исправления были внесены своевременно. Избегайте проблем, обнаруженных на этапе постобработки, и заранее снижайте риски.

Повышение эффективности

Автоматическое создание плана выполнения — точки повышения эффективности: повышение эффективности 0,5–1 часа на человека за итерацию, дополнительный предварительный просмотр и анализ кода более удобны, экономия 0,1–0,5 часа на человека за итерацию.

Инкрементный предварительный просмотр

Благодаря пошаговому сравнению нет необходимости повторно извлекать старый и новый коды для сравнения и подтверждения изменений. Вы можете напрямую провести анализ и сравнение, чтобы более интуитивно подтвердить точки изменения кода, подтвердить, вернулся ли объем влияния. и повысить эффективность работы человека.

Практика данных процесса

527 итераций версии:Количество изменений интерфейса:15+;Проверьте количество интерфейсов со сдвигом влево6+;Количество рекомендованных результатов платформы:11+;Точные пропорции:73%о。

526 итераций версии:Количество изменений интерфейса:90+;Проверьте количество интерфейсов со сдвигом влево10+;Количество рекомендованных результатов платформы:73+;Точные пропорции:81%о。

Итерация версии 525:Количество изменений интерфейса:40+;Проверьте количество интерфейсов со сдвигом влево30+;Количество рекомендованных результатов платформы:25+;Точные пропорции:63%о。

524 итерации версии:Количество изменений интерфейса:22+;Проверьте количество интерфейсов со сдвигом влево8+;Количество рекомендованных результатов платформы:11+;Точные пропорции:72%о。

4. Знакомство с платформой прецизионного тестирования.

Введение в план реализации

Платформа точного тестирования в основном основана на абстрактном синтаксическом дереве (AST) для создания цепочки вызовов методов и выдачи точных рекомендаций. Во время итерации версии генерируются «цепочка вызовов методов каждого приложения» и «глобальная цепочка вызовов интерфейса» («Анализатор различий» + «механизм рекомендаций»), извлекающие «интерфейс изменения» и «интерфейс влияния» на основе. «код изменения», а затем рекомендует соответствующие варианты использования (автоматизация + варианты функционального использования + варианты использования капитальных потерь) в сочетании с точными измерениями представляют качество тестирования итеративной версии следующим образом:

  • Анализатор кода — анализатор ссылок:Создать цепочку вызовов методов на основе последней фиксации,отмечать Http、Dubbo、Grpc Дождитесь входа интерфейса, чтобы реализовать конкретный метод класса, записать информацию об атрибутах, связанных с интерфейсом, и сохранить знания;
  • Экстрактор цепочки вызовов интерфейса:пройти Trace2.0 Извлеките цепочку вызовов интерфейса предыдущей итерации и сохраните ее в базе знаний;
  • Анализатор кода — анализатор различий:в соответствии с Code Разница (последний коммит - Отправьте онлайн), с Code Diff Метод извлечения изменений используется для запуска интерфейса изменений на основе базы знаний. Интерфейс изменений объединяется с цепочкой вызовов методов для обнаружения интерфейса воздействия;
  • Двигатель рекомендаций:(Изменить интерфейс + влияет на интерфейс) + Варианты использования автоматизации + База знаний интерфейса функционального варианта использования => Варианты использования автоматизации + Функциональные варианты использования;
  • Точное измерение:В сочетании с платформой покрытия кода、Платформа автоматизации、Измеряйте качество тестирования, например, платформу вариантов использования.

5. Краткое изложение практического опыта

Подвести итог

В третьем квартале мы работали вместе через виртуальные команды, чтобы обеспечить точное тестирование. В каждой версии мы отслеживали несколько основных сервисных приложений знакомых модулей. У нас также был некоторый опыт в некоторых независимых проектах. Каждый проект тестировался. на основе измерения спроса. Все модифицированные приложения тщательно тестируются и рекомендуются. Этот период в основном включает в себя тестирование случаев автоматизации со сдвигом влево и отслеживание причин сбоев в автоматизации запасов. Мы также дополняем случаи автоматизации стандартного интерфейса приложений, чтобы улучшить охват. автоматизация приложений и старайтесь гарантировать, что для каждого изменения рекомендуются старые интерфейсы. Все интерфейсы могут быть автоматически охвачены, что помогает сэкономить время и затраты на регрессионное тестирование при возврате старых интерфейсов;

Когда несколько доменов создаются совместно, это также может помочь точно рекомендовать диапазон испытаний. Точное тестирование может эффективно улучшить охват и надежность тестирования, помочь тестировщикам обнаружить потенциальные проблемы, избежать предвзятости информации, ведущей к пропущенным интерфейсам при многодоменном совместном построении, и рекомендовать интерфейсы, которые не были оценены на предмет изменений при разработке;

В течение третьего квартала каждая версия рекомендовала 100% данных по рекомендациям нескольких приложений. Существуют также некоторые проблемы с платформой, которые необходимо оптимизировать. В качестве примера взяты последние данные итерации, средняя точность. Показатель составляет 80+%. Пока в третьем квартале: несколько заявок, несколько итераций и несколько студентов вложили в общей сложности 6д+ в виде виртуальных групп. Предварительные результаты таковы: вывести точную диаграмму взаимодействия процесса тестирования. , перехватывать дефекты и рекомендовать без оценки. Изменить интерфейс, автоматизировать сдвиг влево. Кейс автоматически создает план левой смены и автоматически его выполняет: повышение эффективности составляет 0,5-1 час (на человека за итерацию, в процессе возникают особые ситуации Кейса, например, независимый проект, где новые и измененные интерфейсы обычно не рекомендуются); , что также требует, чтобы платформа впоследствии скорректировала свою точную стратегию рекомендаций.

Планирование и перспективы последующих действий

Несмотря на некоторые проблемы, обнаруженные на практике в третьем квартале, платформа также активно участвовала в улучшении. Я считаю, что на основе поддержки платформы мы дадим точные рекомендации по тестированию, основанные на измерении спроса в будущем. точная платформа тестирования, и каждая итерация будет продвигать встречу на основе измерения спроса. Более эффективный и точный анализ для постепенного достижения лучших результатов тестирования и затрат на техническое обслуживание. На протяжении каждой итерации версии мы постоянно используем собранные данные для обнаружения некоторых проблем, влияющих на точность, а также снова оптимизируем и улучшаем систему прецизионной платформы, чтобы повысить точность прецизионной испытательной платформы, устраняя при этом обнаруженные проблемы и дефекты; когда точность. Повышение ее до определенного уровня может послужить основой и ориентиром для будущих работ по тестированию.

*Текст/Джереми

Автор этой статьи — Dewu Technology. Другие интересные статьи можно найти на официальном сайте Dewu Technology.

Перепечатка без разрешения Dewu Technology строго запрещена, в противном случае будет наступать юридическая ответственность в соответствии с законом!

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.