В условиях быстрого развития рыночной экономики,Осведомленность населения об управлении рисками постепенно растет,Индустрия ценных бумаг развивается быстрыми темпами. Особенно в последние годы, с применением интернет-технологий больших данных,,Динамика развития индустрии ценных бумаг идет семимильными шагами. На этом фоне объемы деятельности компаний, занимающихся ценными бумагами, быстро возросли.,Это привело к увеличению проблем со стабильностью корпоративных бизнес-систем. Большинство компаний, занимающихся ценными бумагами, также увеличили свои требования и инвестиции в качество реализации тестирования производительности.

Являясь ведущей компанией в отрасли ценных бумаг, отдел ИТ-тестирования компании B с 2010 года продолжает вкладывать относительно большие затраты в создание и расширение своей команды по тестированию производительности. После нескольких лет работы в команде команда тестирования производительности добилась определенных результатов во внедрении спецификаций реализации проекта и систем тестирования производительности.

в 2020 году,Предприятие Б полностью запускает Трансформацию 2.0,Сосредоточьтесь на усовершенствовании бизнес-моделей,Оптимизировать структуру бизнеса и изменить направление развития.BПланирование трансформации предприятия включает в себя большой объем работы по продвижению бизнеса.,Последующий масштаб бизнеса, несомненно, будет быстро расти.,Основные бизнес-системы онлайн неизбежно столкнутся с более серьезными проблемами производительности. В этом контексте,Группе «Тестирование производительности» придется столкнуться с большим количеством итераций версий, требующих быстрого реагирования и более высоких требований к гарантиям производительности. Первоначальную модель реализации тестирования команды и возможности тестировщика может быть сложно поддерживать.,Предприятиям необходимо перестроить более комплексную, эффективную и профессиональную команду по тестированию производительности и снабдить ее более полной системой тестирования производительности, чтобы увеличить свои потребности в тестировании производительности.Эффективность доставки и возможность контролировать качество тестирования,Помогите предприятиям сохранить стабильность системы после комплексной трансформации.

Существующая команда ориентирована на спрос,Его масштаб и возможности реализации проектов могут удовлетворить потребности тестирования только на этапе трансформации предприятия 1.0. Однако в условиях быстрого роста объема бизнеса на этапе трансформации предприятия 2.0 возникает больше требований и более высоких требований для быстрого возврата.,Простое увеличение количества тестировщиков не является оптимальным решением. Без изменения всей системы тестирования этого будет недостаточно для обеспечения хорошей работы системы.

Более высокая эффективность человека、Более высокие требования к качеству испытаний、более совершенный Тестирование Система производительности стала целью всей команды,Однако корректировки не должны производиться вслепую.,Одна-единственная корректировка не может сыграть решающую роль, но может нарушить первоначальный баланс.

Основываясь на вышеизложенном, внутренние менеджеры на всех уровнях проводили постоянную связь и исследования с персоналом по внедрению, и после анализа статуса внедрения, основных болевых точек и планирования видения проектов тестирования производительности своей собственной команды и трех подчиненных поставщиков, они решил провести Комплексную оптимизацию системы тестирования производительности.

Путь к оптимизации инструментов тестовой платформы

Обычно внутри предприятия Тестирование производительности Когда спрос невелик и тестировщиков не так много, Реализация проекта «Тестирование производительности» может осуществляться с помощью единых инструментов. Но по мере развития бизнеса,Когда требуется совместная работа нескольких человек, управление версиями, повторное использование ресурсов, отслеживание проектов и анализ полноканального стресс-тестирования.,Для выполнения такой работы необходима платформа автоматизированного тестирования.,Помогите разработчикам тестов повысить эффективность и качество тестирования.,Помощь менеджерам в выполнении задач, Отслеживание прогресса проекта、Периодическая статистика и другие работы.

(1) Опрос текущего состояния инструментов платформы тестирования.

в настоящий момент Тестирование Команда производительности по-прежнему использует LoadRunner и JMeter в качестве тестировщика. производительностиинструменты для снятия стресса,Используйте nmon в качестве базового метода мониторинга ресурсов сервера.,Менеджерам не хватает платформы для управления тестовыми проектами,Невозможно своевременно отслеживать ход проекта и состояние персонала.,Ежедневный доступ к информации о проекте в основном осуществляется через электронную почту, внутренние чаты и встречи.

В настоящее время разработчики тестов в основном сталкиваются со следующими трудностями:

Отсутствие платформенного и цифрового стандартизированного управления.средства активов,Сортировка, обобщение и передача тестовых ресурсов выполняются вручную.,Легко вызвать потерю активов。

необходимо провестиМного повторяющейся работы,нравитьсяНаписание сценариев, отладка сценариев, мониторинг развертывания, сбор данных, анализ проблем, импорт данных Excel, создание диаграмм.ждать,Улучшение собственных способностей тестировщиковлитры ограничены.

Существует множество крупномасштабных мероприятий по стресс-тестированию.,Обычно требуются десятки тысяч или сотни тысяч одновременных возможностей стресс-тестирования.,традиционныйLoadRunner、JMelerЭффективность пресс-развертывания и отладки средств опрессовки крайне низка.,Трудно добиться быстрого сброса давления.,Однако долгосрочное тестирование стабильности часто страдает из-за задержек в самом инструменте.Возникают проблемы с производительностью, и результаты испытаний не подлежат повторному использованию.

тестовая средаПроверка, очистка журналов, откат данныхждать Для завершения требуется много рабочей силы,Отсутствие автоматизированных средств.

разные типыМетоды мониторинга и развертывания на стороне сервера различаются: мониторинг развертывания, сбор данныхТребует много человеческих ресурсов。

бизнес-процесс процессПеренос в несколько систем,Канал передачи данных сложен, стоимость мониторинга высока, а функции и средства полноканального мониторинга и анализа отсутствуют.,заставляет тестировщиков комментировать проблемы с производительностьюОтслеживание и позиционирование сложны, а настройка производительности в основном зависит от позиционирования разработчика.

Отсутствующие аналитические инструменты,LoadRunner、JMeterинструменты для выполненияВ основном тестирование производительности, отсутствие возможностей мониторинга ссылок и анализа первопричин на платформе полноканального стресс-тестирования.。иAPMАналитические инструменты этого типа ограничены длительными внутренними процессами применения.,Невозможно быстро развернуть。в то же время,Система безопасности в отрасли строгая,тестерНевозможно установить инструменты анализа с открытым исходным кодом в тестовой среде.。

На данный момент болевые точки менеджеров команд тестирования производительности заключаются в следующем.

Существует множество требований к тестированию и параллельных проектов.,Менеджеры не могут знать о ходе проекта в режиме реального времени.、Контроль состояния и процесса。проходитьтрадиционный Отслеживание хода проекта с помощью электронной почты и телефонных звонков отнимает у менеджеров много энергии.,Легко могут возникнуть такие ситуации, как рассинхронизация информации и разница в ценах на информацию.

Благодаря множеству параллельных проектов,При проверке качества реализации проекта применяется метод ручного отбора проб.,Невозможно полностью охватить все проверки проекта.данные результатов тестаВысокая стоимость проверки точности,Например, соответствуют ли результаты тестирования, представленные тестировщиками, реальным и эффективным сценариям тестирования.,А есть ли отклонения в статистике тестовых данных требуют ручной проверки.。в то же время,тестер Написаны сценарии и сцены、Подробные результаты испытанийждать В процессе реализации контент сохраняется вКомпьютер локальный,После завершения проекта он будет заархивирован в библиотеке ресурсов команды.Менеджеры не могут проводить проверки в режиме реального времени на этапе внедрения тестирования.,Заранее избегайте рисков проекта.

Тестирование различных бизнес-системРабота поручается разным тестерам производительности,Если существует необходимость срочного выпуска основной системы.,Периферийные устройства, которые необходимо проверитьОбычно существуют десятки связанных систем.,Для инициирования проверки необходимо мобилизовать десятки соответствующих тестеров,Когда людей меньше, традиционные инструменты стресс-тестирования не могут быстро выполнить полную регрессию и запланированную регрессию.

Отношения взаимных вызовов между несколькими системами сложны.,Из-за короткого цикла выбора версии часто бывает, что одновременно тестируются связанные системы.,Трудно полагаться на рабочую силу, чтобы избежать системных проблем и искажения результатов испытаний, вызванных одновременным вызовом.Обычно менеджеры ограничивают время для тестирования стресса в командах.,Однако полностью избежать этой проблемы невозможно, если размер команды велик, а цикл выпуска короток.

Тестирование производительности Ответственное лицо общается с руководителем тестированияТакие данные, как активы команды, производительность персонала, количество реализованных проектов, решенные проблемы с производительностью и т. д., все записываются вручную.,Потому что данных много,Часто случаются упущения и ошибки, а возможность суммировать данные вручную слаба.,Ежегодная сводка и отчетность требуют большого количества рабочей силы для сортировки соответствующих данных.,Большую часть данных необходимо отслеживатьВнедрение проверки персонала, много повторяющейся работы.

Тестирование Команда производительности насчитывает более 60 человек. Каждый тестер оснащен двумя генераторами нагрузки LoadRunner. В сочетании с возможностью самонастройки внутри команды тестирования. производительности Команда имеет почти120генератор нагрузки。Управление и обслуживание генераторов нагрузки осуществляется индивидуально и в небольших группах.,Коэффициент использования низкий, если полагаться только на прикомандированные ресурсы на небольшой территории, невозможно сформировать пул ресурсов для использования всей большой командой.Генераторы нагрузки имеют высокое потребление ресурсов и затраты на обслуживание.

(2)План оптимизации инструментальной платформы

Если рабочий хочет хорошо выполнять свою работу, он должен сначала заточить свои инструменты. Проводить исследования и анализ текущего состояния команды тестирования.,Компания решила продолжить создание полноканальной платформы стресс-тестирования, чтобы заменить исходный метод стресс-тестирования с использованием инструментов LoadRunner и JMeter. В процессе выбора версии платформы,Необходимо продолжать расширять возможности платформы для достижения быстрого запуска.Регистрация информации о проекте, отладка сценариев, выполнение сценариев, комплексный мониторинг в реальном времени, отслеживание ссылок, анализ местоположения первопричин, отслеживание базовых показателей и другие процессы стресс-тестирования.

Тестировщики полагаются на платформу для создания стандартизированного процесса реализации проекта.,строитьГибкая полная регрессия, быстрое начало полноканального стресс-тестирования, отслеживание ссылок и возможности анализа местоположения первопричин.,Полностью реализовать возможность оценки производительности прикладных систем при быстрой итерации. Менеджеры могут быстро просматривать данные каждой группы статистики (статистика активов, статистика проблем, статистика команды, статистика приложений, статистика бизнеса) через платформу.,Понять ход реализации и детали проекта,Возьмите хороший контроль над командой. таким образом,И тестировщики, и менеджеры могут выполнять свою повседневную работу более эффективно и качественно.

(3) Оптимизация платформы и эффект конструкции

1) Быстро адаптироваться к изменениям организационной структуры.

Как показано на рисунке ниже, первоначальная организационная структура группы тестирования такова: руководитель тестирования производительности управляет в общей сложности 6 менеджерами по тестированию. Менеджер по тестированию связан с руководителем группы тестирования поставщика. Руководитель группы тестирования каждого поставщика управляет примерно 10 различными менеджерами. уровень испытаний в коллективе. Группа тестирования производительности отвечает за все потребности в тестировании производительности компании группы и других дочерних компаний.

Изменения в бизнес-архитектуре привели к необходимости быстрого разделения структуры ИТ-отдела. Из-за преимуществ объединения активов тестовой платформы исторические активы проекта были помечены в соответствии со спецификациями для дочерних компаний, бизнес-отделов и групп тестирования, которым принадлежат активы. принадлежать. Таким образом, платформа может быстро разделять активы онлайн в соответствии с изменениями в организационной структуре, устраняя большие затраты на передачу активов и общение с персоналом после изменений в организационной структуре. Первоначальную стандартную систему тестирования производительности быстро продолжили внедрять в каждом филиале, гарантируя, что команда тестирования производительности сможет обеспечить высокое качество стабильности системы после изменений во всей организационной структуре предприятия.

В условиях корректировки бизнеса,Первоначальная компания группы была разделена на три дочерние компании.,Первоначальная группа тестирования производительности сформировала три независимые группы тестирования после разделения дочерних компаний.Организационная структура тестовой команды после разделениянравиться Как показано ниже。

2) Возможность быстрого запуска и планового возобновления стресс-тестирования.

Обычно невозможно быстро инициировать большое количество стресс-тестов системы с помощью инструментального стресс-тестирования. Для большой основной системы требуется как минимум один тестировщик, отвечающий за регулярную регрессию. В этом режиме, чтобы охватить больше систем, необходимо провести больше тестов. добавили тестеры.

Преимущество платформизации в том, что на платформе реализованы все системы всей команды и их тестовые сценарии и тестовые сценарии разных версий.,Разработчикам тестов нужно только щелкнуть платформу в соответствии со своими потребностями.,Вы можете в любое время быстро запустить стресс-тестирование нескольких систем или проектов.。Автоматический мониторинг платформы и восстановление результатов также освобождают рабочую силу.,Число проектов стресс-тестирования, на которые способен каждый, будет расти в геометрической прогрессии. в то же время,Платформа также имеет возможность запланированного возврата.,Установите время автоматического выполнения сценария в соответствии с циклом итерации версии.,Сократите повторяющуюся работу персонала и действительно добейтесь многократного повторного использования настроек один раз.

и,Поддержка платформы черезShellи другие типы скриптовЭкологическая проверка, очистка журналов, подготовка данных и другие задачи могут эффективно повысить общую эффективность.

3) Возможность изоляции разрешений.

Платформа поддерживает усовершенствованное управление разрешениями, которое позволяет контролировать разрешения различных активов для групп или отдельных лиц, а также распределять такие разрешения, как создание, редактирование и удаление, на основе проектов, сценариев, сценариев и других измерений. Благодаря разумному распределению разрешений разработчики тестов могут видеть только те проекты, для которых у них есть разрешение. Проекты изолированы друг от друга, а все проекты, сценарии, записи стресс-тестов и другие ресурсы невидимы друг для друга.

4) Полное отслеживание ссылок и определение первопричин проблем.

Основной бизнес-процесс индустрии ценных бумаг относительно длительный.,Бизнес-процесс может проходить через почти 10 систем, каналы передачи данных сложны, стоимость мониторинга высока, а проблемы с производительностью трудно отслеживать и обнаруживать.Настройка производительности ориентирована на разработчиков,Возможности команды разработчиков в большинстве случаевОпределяет эффективность позиционирования и эффект настройки производительности.

Платформа полноканального стресс-тестирования имеет возможности анализа, отнимающего много времени.、Возможность создания топологии канала、Возможность анализа потребления ресурсов ссылок。Он также имеет такие функции, как просмотр памяти, позиционирование процессора, обзор потоков и трудоемкий анализ подвызовов кода.,Платформизация сложных возможностей,Повысьте глубину и эффективность анализа производительности. Тестировщики могут быстро находить трудоемкие методы и исходный код с помощью графических ссылок на вызовы.,в то же время Лицом к тестируемому серверуВысокая загрузка ЦП, нехватка памяти, частые FuGC, блокировки потоковждать问题时能проходить分析平台快速定位问题。Графический дисплей платформы и запуск функциональных кнопок(Неручной ввод команд)путь уменьшентестер Порог для анализа производительности,Сделать уровень начинающий-средний Тестирование Персонал производительности также может участвовать в позиционировании производительности.

Эта способность ломаетсяРаньше тестировщикам производительности нужно было только найти направление узкого места в производительности.Обратная связь разработчикам по их схемам работы,Изменено обычное Тестирование Ограничение, заключающееся в том, что персонал производительности не может играть ведущую роль в обнаружении узких мест производительности, заставляет тестировщиков работать на протяжении всего Тестирования. Больше ценности отражается в процессе производительности.

5) Возможность раннего предупреждения об одновременных вызовах системы.

Эта возможность может решить проблему искажения результатов тестирования, вызванную одновременным вызовом базовой системы, когда несколько тестировщиков запускают стресс-тесты в своих соответствующих системах. Платформа может выдать сигнал тревоги до запуска сценария, побуждая тестировщиков перейти в режим интеллектуальной организации очередей, поэтому менеджерам не нужно тратить на это много времени и сил.

6) Возможность сверки результатов испытаний и ожидаемых показателей.

Обычно менеджерам необходимо просматривать большой объем данных индикаторов тестирования при проверке результатов тестирования проекта.,Такие как TPS, время отклика и тестовые данные различных ресурсов сервера и т. д.,Определите, все ли они находятся в пределах нормы. Установив значение результата тестовой цели на платформе,Отметьте красным цветом результаты, не соответствующие требованиям.,Может действительно показать, соответствуют ли результаты испытаний ожиданиям。Таким образом, можно гибко настроить элементы проверки различных показателей, таких как уровень успешности транзакций, TPS, время ответа, ЦП, память и сеть тестируемого сервера.

7) Возможности отслеживания проекта.

Поддержка запросов для каждого проекта на платформе основана на названии проекта.、Статус проекта、Создать пользователя、Фильтрация теговждатьразличные умозаключения,Эта способность полностью решена Тестирование Ответственное за производительность и менеджер по тестированию за каждый Статус проекта Отслеживание сложных болевых точек。Менеджеры по тестированию могут быстро отслеживать, на какой стадии находится каждый проект на платформе.(Если не началось, в процессе, решено, отложено),Какие бизнес-операции включают затраты на протяжении всего жизненного цикла проекта?,Покрытие тестовых сценариев,Запись результатов теста,базовое отслеживание,Метрики оценки для целей тестирования,Записи о проблемах с производительностью, решенных во время тестирования проекта.,и генерировать отчеты по проектам и т. д.

8) Сводка данных и возможности отображения.

На платформе есть статистикаВозможность данных в различных измерениях,примернравитьсяСтатистика активов, статистика проблем, статистика команд, статистика приложений и т. д. образуют статистический рынок.。Статистика активовОхватывает количество библиотек сценариев, количество библиотек сценариев, количество сеансов стресс-тестирования, количество проектов внедрения и т. д.,Менеджеры могут в любой момент просмотреть поэтапный и общий сводный статус реализации группы тестирования. Статистика проблем может визуально представить общую ценность результатов команды тестирования.,Сколько проблем с производительностью было обнаружено?,Сколько проблем с производительностью было решено?,Количество нерешенных проблем и т. д. Статистика команды позволяет просматривать полную рабочую нагрузку каждой группы или разных команд поставщиков.,Эти данные можно использовать в качестве ориентира для оценки эффективности команды. Статистика приложений позволяет проверить, сколько систем в настоящее время охвачено мониторингом.,А также количество серверов и узлов в тестовой среде.,Обеспечьте справочную основу для корректировки активов в тестовой среде.

Внутри менеджеры могут периодически анализировать и анализировать данные в различных измерениях, чтобы находить точки оптимизации, снаружи они могут использовать различные данные для демонстрации результатов работы и ценности команды тестирования;

9) Возможности управления генератором нагрузки.

Платформа обеспечивает интеллектуальный механизм распределения и организации очередей для генераторов нагрузки, который может автоматически планировать простаивающие генераторы нагрузки для выполнения задач в соответствии с требованиями проекта и снижать частоту простоя генераторов нагрузки, когда несколько человек и несколько проектов работают параллельно. В то же время, когда ресурсов генератора нагрузки недостаточно, тестировщики будут получать подсказки и автоматически вставать в очередь через платформу, сокращая затраты на связь и координацию. Короче говоря, платформа может улучшить использование ресурсов для выполнения большого количества задач по тестированию производительности и снизить затраты на оборудование. В настоящее время количество корпоративных генераторов нагрузки сокращено с почти 120 до менее 40.

10) Унифицированные возможности мониторинга и развертывания.

Платформу можно развернуть в Windows с помощью зондов.、Контролируйте тестируемые серверы в разных операционных системах, таких как Unux, и разных версиях ядра. Реализация базового процессора、Память、сеть、мониторинг дискав то же время,МожетОн собирает ссылки на вызовы, мониторинг и дамп кучи JVM, состояние потока и дамп, а также имеет такие функции, как анализ горячих точек ЦП и декомпиляция исходного кода.

Конструкция зонда обеспечивает возможность однократного развертывания и ежедневного использования, что снижает нагрузку на тестировщика, связанную с повторным развертыванием и обслуживанием служб мониторинга. Собранные данные мониторинга отображаются на платформе в режиме реального времени по мере выполнения сценария тестирования, без необходимости в этом. тестеры вручную подключаются к тестируемому серверу и отправляют сбор с помощью команд. Результаты испытаний и данные мониторинга отображаются интегрированным образом, что упрощает анализ результатов испытаний тестировщиками.

Если после прочтения вы найдете что-то полезное, пожалуйста, подписывайтесь, делитесь, оставляйте сообщение и т. д.! ! !