| 出版日期：2004-9-06 总期号：584 本年期号：34 |
|
 |
自动化性能测试工具的评估方法
使用自动化性能测试工具，可以有效缩短测试周期，在新的版本和补丁发布的最后阶段按时交付高质量应用软件。在性能测试过程中可以通过系统性能调整实现性能优化，节省硬件投资。目前常见的自动化性能测试工具如Mecury公司的LoadRunner、Rational公司的Robotter和Compuware公司的QALoad等，这些性能测试工具在不同方面分别具有一定的优势，因此用户在选择这些产品时必须建立一种比较合理的评测方法，并根据自己的实际需要选择一种合适的产品。 通常我们可以从功能指标、性能及可靠性指标、文档指标三个方面对各个工具产品进行比较。 一、功能指标 功能指标主要包括脚本制作能力、脚本调试能力、脚本管理功能、支持协议、制作场景、场景管理、执行场景、场景监控、数据分析能力和测试结果管理。 1． 脚本制作能力 脚本制作用于制作性能测试自动化所需脚本，应该同时具备界面录制、手工编制、通讯包录制三种方法。界面录制是指操作员手工操作软件的界面，同时使用性能测试的工具将操作过程录制下来，并生成相应的性能测试脚本。手工编制是指不经过录制的过程，操作员使用某种开发语言手工编写性能测试脚本。通讯包录制是指使用性能测试工具在服务器和服务器之间或者服务器和客户端之间录制业务过程的网络通讯包，以制作无界面的测试脚本。 2． 脚本调试能力 录制脚本后，工具会用某种开发语言生成相应的脚本，这时制作者可以使用调试的功能对脚本进行调试、排错、检查变量值，调试方法包括单步执行、设置中断点等等。 3． 脚本管理能力 提供专用脚本管理工具，实现脚本的组织功能。 4． 支持协议 脚本制作时应支持以各种协议为基础的应用软件的录制功能，如Legacy、E-Business、Client-Server（Database、DNS、WinSock）、MiddleWare、ERP/CRM、EJB、Steaming Data、Wireless、Mailing Services。 5． 场景制作和管理 场景制作是指以脚本的组合形式整体运行，包括制作手工场景、制作目标场景、设置脚本运行位置、定义场景属性等。手工场景即自定义场景中包括哪些脚本，目标场景即以某个性能指标为目标的场景，设置脚本运行位置，即设置脚本在哪个机器上运行，定义场景属性包括运行方式、运行时间。 6． 执行场景 执行场景时应该可控制用户组、可控制单个用户、在并发点可手工释放用户和察看用户状态。 可控制用户组指在场景运行的过程中对虚拟用户组进行状态的控制。 可控制单个用户指在场景运行的过程中对虚拟用户进行状态的控制，包括启动、暂停、恢复、停止。 在并发点手工释放用户指支持随时将处于并发点的虚拟用户手工释放。 查看用户状态指在运行过程中，支持显示每个虚拟用户的状态。 7． 场景监控 在场景的运行过程中，提供对各服务器、网络设备、应用平台等资源和状态的监控。 8． 数据分析能力和测试结果管理 提供监控数据的汇总报告、监控数据的精确值、各种图形用于分析被测系统的性能，提供多种报告形式，将监控数据以报告的形式进行组织。 二、性能及可靠性指标 性能及可靠性指标主要包括可靠性、易用性和可集成性。 1． 可靠性 保证不出现死机、数据处理错误、主业务流程断点、软件错误导致数据丢失等现象，否则会导致系统无法运行。应屏蔽用户操作错误，不会引起系统异常退出。运行操作错误不会导致系统异常退出，应该提示错误原因。能进行输入有效性检查，能排除不符合要求的输入数据或给出提示。 2． 易用性 菜单、工具栏随所进行的操作变化，无效的菜单项应变灰或隐藏。 应具有联机帮助功能，功能所对应的操作都有相应的联机帮助。对用户操作的实时引导，对用户的每一步关键性操作都有相应的提示。 界面风格应该简洁一致、布局合理、术语统一。 3． 可集成性 与配置管理工具、项目管理工具、缺陷管理工具集成。 三、文档指标 文档指标主要考察用户文档完整程度、描述与实际功能的一致性和用户文档的易理解程度。 用户文档完整程度指用户文档中应包括全部软件功能、业务流程和计算过程的说明，并可以提供在线帮助。 描述与实际功能的一致性指用户文档描述的功能与软件实际功能应保持一致。 用户文档的易理解程度指用户文档的文字描述应条理清晰、易于理解，用户文档对关键重要的操作应配以例图说明，用户文档采用中文编写，对主要功能和关键操作应提供应用实例。 （中国建设银行信息技术部 肖鲁川） |
||||||||||||||||||||
