社区问答中问句相似度计算方法研究
关键字：问答系统，句法结构，问题匹配，雅虎问答
毕业论文外文摘要
Title Question Similarity Computation in Community Question Answer
Abstract
While traditional question answering (QA) systems tailored to the
TREC QA task work relatively well for simple questions, they do not suffice to answer real world questions. The community-based QA systems offer this service well, as they contain large archives of such questions where manually crafted answers are directly available. However, finding similar questions in the QA archive is not trivial. In this paper, we propose a new retrieval framework based on syntactic tree structure to tackle the similar question matching problem. We build a ground-truth set from Yahoo!
Answers, and experimental results show that our method outperforms traditional bag-of-word or tree kernel based methods by 8.3% in mean average precision. It further achieves up to 50% improvement by incorporating semantic features as well as matching of potential answers. Our model does not rely on training, and it is demonstrated to be robust against grammatical errors as well.
Keywords: Question Answering, Syntactic Structure, Question Matching,
Yahoo! Answers
目 次
1引言…1
2问句相似度计算1
2.1框架概述1
2.2 VSM模型2
2.3语义模型2
2.4树核模型3
3问句相似度计算的相关技术和实现方法4
3.1 基于向量空间模型的问句相似度计算方法4
3.2 基于语义的问句相似度计算方法4
3.3 句法树匹配…5
3.4 树片段的权重方案5
3.5 测量节点匹配分数6
3.6 相似性度量…7
3.7 健壮性…7
4语义平滑匹配…8
5实验…9
5.1 数据集…9
5.2检索模型10
5.3成果评估11
5.4性能变化到语法错误…11
5.5错误分析12
6 相关工作13
7 结论与未来展望…14
致谢 …15
参考文献 …16
1 引言
因为传统的TREC QA工作取得了显著进展它最初是在20世纪90年代推出[1]。然而，在TREC研究 质量保证已经在很大程度上有针对性的短期，智能标记为主，试题，供其简洁的答案是预期。例如，TREC QA简单地预计，今年“1960”为简单的问题“埃德蒙希拉里在哪年寻找雪人？”。此前有称，而问答系统量身定做的TREC QA任务 相对有效的智能标记类型的问题，他们可能不是一定有效的问答应用TREC外。在现实世界中，更复杂的问题是通常会要求，用户更愿意获得更长，更全面的答案，其中包含足够的上下文信息。传统的质量保证体系现在面临的问题被部署到真实的世界。
随着Web 2.0，社交协作的绽放应用，如文基百科，YouTube和Facebook等开始
蓬勃发展，并出现了越来越多的Web ，汇集了网络信息服务的自我宣称的“专家”来回答，来自其他人的问题。这是被称为社区为基础的问答服务（CQA）。在这些社区，任何人都可以一问一答对任何主题的问题，人们寻找信息的连接到那些谁知道答案。由于答案通常是人类明文规定，并且是高品质的，也可以是在回答现实问题有帮助。