自动化测试需要达到什么程度?这个问题在自动化测试工具发展的最初阶段就有人提出过。 首先,必须了解自动化测试工具的测试过程和被测试系统的测试过程(指手工测试时的测试过 程)。测试工具与测试过程是不同的,工具是用于促进测试过程的,能被用于实现一个过程并执行 测试过程的各种规范。在很多情况下,工具自带的内建程序可以被理解为过程,然而它们往往是不 完整的,不能正确反映过程,最好的自动化测试工具是能够将工具与测试需求达成一致,并且提供 高度可自定义的工作流程和跟踪报告能力。
其次,必须了解测试过程中涉及到的几个环节:测试计划、测试设计、测试构建、测试执行、 测试结果的捕获和分析、测试结果验证和测试报告。在整个测试过程中这些活动都是密不可分的, 只有将这些测试环节与自动化测试过程结合起来,才能更好地确定自动化测试需要达到的程度。 最后,所有领域的自动化测试都应该保证时间和成本在一定的控制范围内。实现的自动化程度 越高,测试过程就越好、越有效,但所需的时间和成本就越高,项目的进度与成本影响自动化测试 程度的高低。 自动化测试成本包括两部分:固定成本和可变成本。 固定成本通常包括以下几个方面: 硬件; 自动化测试工具; 自动化测试培训; 自动化测试环境设计和搭建; 自动化测试环境维护。 可变成本通常包括以下几个方面:
自动化测试计划; 自动化测试用例设计; 自动化测试脚本开发; 自动化测试脚本维护; 自动化测试脚本运行; 自动化测试结果分析; 缺陷报告; 自动化测试执行数据保存。