基于最大匹配及其改进算法的中文分词技术(3)
时间:2018-09-13 14:57 来源:毕业论文 作者:毕业论文 点击:次
第三章：最大匹配算法。介绍最大匹配算法的原理，并展示应用字典进行最大匹配算法的分词结果。 第四章：最大匹配扩展算法。介绍最大匹配扩展算法的原理，并展示扩展算法的分词结果。 第五章：最大匹配算法与扩展算法的比较。应用同一个字典，比较最大匹配算法与扩展算法的分词结果。 第优尔章：汉字编码。论述在实现算法过程中遇到的汉字编码问题，同时介绍相关的汉字编码知识。 2 中文词典收集 2.1 词典简介 生活中大家常用字典，字典是用来收录单词的，也可称为词典。在基于字典的中文分词技术里，字典存储着大量的中文单词，基于字典的分词上面已经解释过，就是通过查询字典中的单词将中文语料切分出一个一个词语的过程。在分词处理的过程中，不同的算法用到不一样的字典，相应的，字典也有多种格式。由于本次论文讨论的算法是基于字典的，字典的格式以及收录的单词数量，直接关系着分词结果的好坏。对于一个只收录了1000个单词的字典和收录了10万个单词的词典，运用它们对语料进行分词的结果肯定是天壤之别。同时字典中收录的单词数量较多，整理的过程也是比较繁琐的，因此在本次毕业设计中，对于字典的收集和整理也是本次实验的一个重要环节。 (责任编辑：qin) |