2。4 本次研究的创新点

1）本次研究是首次基于国内搜索引擎进行的蜕变测试研究，并且严格根据各搜索引擎的具体在线文档进行了蜕变关系的设计与测试用例的处理，实现了测试的可操作性；

2）本次研究也首次把蜕变测试运用到对电商搜索引擎的测试过程中，并且根据电商交易平台自身的特点来制定原始测试用例集合，保证了测试用例的实用性；

3）本次研究首次从大数据智能应用的三种重要质量因素，即可靠性、稳定性、鲁棒性三方面对国内搜索引擎进行评价，具有一定程度上的可推广性；

4）本次研究首次把统计量和箱线图相结合来展开对实验结果的分析总结，增强了实验结论的可靠性。

3 蜕变关系的设计与验证

基于五种搜索引擎，本文中使用的蜕变关系被分成三组：可靠性、稳定性、鲁棒性。可靠性分组是验证搜索引擎执行和在线说明之间的一致性，属于验证活动；鲁棒性分组评估了搜索引擎在检索页面时，对于用户需求的满足程度，属于确认活动；稳定性分组考察了搜索引擎的排序算法与其他技术相结合之后的表现水平。表3。1是对本研究中设计的蜕变关系的简要概述，其后会对每条蜕变关系进行具体阐述：

表3。1 本次试验中设计的蜕变关系概要

分组 MTRs 模式 单测试结果 批测试结果 测试频率 目的及注意事项

可靠性 Or 英文 成立/不成立

成立/不成立

成立/不成立 S/F-ROCOA

S/F-ROCOA

S/F-ROCOA

单批次/每时 测试搜索引擎定义的规则操作，侧重于发现缺陷

【根据具体在线说明而进行定义】

And 英文 单批次/每时

Exclude 英文 单批次/每时

稳定性

Title 英文

中文 发现/未发现

Title-ROCOA

  单批次/每时 测试搜索引擎的网页检索能力，侧重考察对网页信息概括和检索【部分字段使用双引号】

Top5 英文

中文

发现/未发现

Top5-ROCOA

  单批次/每时 测试搜索引擎的结果排序质量，侧重考察前五返回结果【使用双引号】

Swap

中文 发现/未发现 Swap-ROCOA

  单批次/每时 测试搜索引擎语义理解能力，侧重考察相似查询是否返回相似排序结果【不使用双引号】

英文

鲁棒性 Reverse 中文 重叠程度 Jaccard系数

  单批次/每时