第三章:最大匹配算法。介绍最大匹配算法的原理,并展示应用字典进行最大匹配算法的分词结果。
第四章:最大匹配扩展算法。介绍最大匹配扩展算法的原理,并展示扩展算法的分词结果。
第五章:最大匹配算法与扩展算法的比较。应用同一个字典,比较最大匹配算法与扩展算法的分词结果。
第优尔章:汉字编码。论述在实现算法过程中遇到的汉字编码问题,同时介绍相关的汉字编码知识。
2 中文词典收集
2.1 词典简介
生活中大家常用字典,字典是用来收录单词的,也可称为词典。在基于字典的中文分词技术里,字典存储着大量的中文单词,基于字典的分词上面已经解释过,就是通过查询字典中的单词将中文语料切分出一个一个词语的过程。在分词处理的过程中,不同的算法用到不一样的字典,相应的,字典也有多种格式。由于本次论文讨论的算法是基于字典的,字典的格式以及收录的单词数量,直接关系着分词结果的好坏。对于一个只收录了1000个单词的字典和收录了10万个单词的词典,运用它们对语料进行分词的结果肯定是天壤之别。同时字典中收录的单词数量较多,整理的过程也是比较繁琐的,因此在本次毕业设计中,对于字典的收集和整理也是本次实验的一个重要环节。 基于最大匹配及其改进算法的中文分词技术(3):http://www.youerw.com/jisuanji/lunwen_22981.html