毕业论文
计算机论文
经济论文
生物论文
数学论文
物理论文
机械论文
新闻传播论文
音乐舞蹈论文
法学论文
文学论文
材料科学
英语论文
日语论文
化学论文
自动化
管理论文
艺术论文
会计论文
土木工程
电子通信
食品科学
教学论文
医学论文
体育论文
论文下载
研究现状
任务书
开题报告
外文文献翻译
文献综述
范文
LDA模型网络微博话题相关性分析(3)
1.3 国内外
研究现状
2 相关模型
本文在充分考虑到网络语言的特点的同时把研究的焦点放在了计算相关度之前的工作上,主体思路就是将LDA模型与向量空间模型相结合,利用LDA模型来定义特征项,从而改善向量空间模型单纯依靠相似度计算来判断相关度的局限性,也就是说本文利用词汇比对来判断相关性,但是把研究的重点放在如何得到比对的有效词库。下面就简单介绍一下本文主要涉及的两个模型。
2.1 向量空间模型
向量空间模型 (Vector Space Model,VSM) 具有简便、高效等优势,自被发现以来就被广泛地应用于信息过滤、采集以及索引当中,是非常实用的计算相似度的代数模型。VSM的原理很容易理解,用向量空间中的向量运算来对文本信息进行处理转化,再以向量空间上的相似度来衡量文本的相似度。用空间向量表示文档,就可以通过计算向量之间余弦距离的来计算文本间的相关度。
文件(语料)被视为索引词(关键词)形成的多次元向量空间, 索引词的集合通常为文件中至少出现过一次的词组。搜寻时,输入的检索词也被转换成类似于文件的向量,这个模型假设,文件和搜寻词的相关程度,可以经由比较每个文件(向量)和检索词(向量)的夹角偏差程度而得知。实际上,计算夹角向量之间的余弦比直接计算夹角容易:余弦为零表示检索词向量垂直于文件向量,即没有符合,也就是说该文件不含此检索词。通过上述的向量空间模型,文本数据就转换成了
计算机
可以处理的结构化数据,两个文档之间的相似性问题转变成了两个向量之间的相似性问题。
在向量空间模型中,文本用D(Document)表示各种机器可读的记录;特征项(Term,用T表示)是指出现在文档D中并且能够代表该文档内容的基本语言单位,主要是由词或短语构成。则文本可以用特征项集表示为 ,其中 是特征项 。
例如,一篇文档中有a、b、c、d四个特征项,那这篇文档就可以用D(a,b,c,d)表示。针对含有n个特征项的文本,通常会给每个特征项赋予一定的权重来表示其重要程度,即 D=D(T1,W1;T2,W2;…,Tn,Wn),简记为 D=D(W1,W2,…,Wn),就形成了我们需要的文本D的向量表示形式,其中W_k 是T_k 的权重(1≤k≤N)。在上面那个例子中,假设(a、b、c、d)的权重分别为(30,20,20,10),则该文本的向量应该表示为D(30,20,20,10)。在VSM模型中,两个文本D_1 和D_2之间的内容相关度 Sim(D1,D2)常用向量之间夹角的余弦值来表示,其公式为:
、 分别表示文本 和 中第 个特征项的权值 。而在本文中要依靠LDA的建模结果来确定这个权值。
共3页:
上一页
1
2
3
下一页
上一篇:
二重VaR的基本特性及应用研究
下一篇:
线性规划的单纯形法及其应用+文献综述
如何有效利用网络资源促...
太阳影子定位模型研究
探究小区开放对道路通行影响的数学模型
保险模型及应用研究
杭州市GDP的预测灰色模型ARIMA模型及其对比
基于鹰鸽博弈的动物行为博弈论模型
保险模型的研究及其模拟
志愿者活动的调查问卷表
10万元能开儿童乐园吗,我...
C#学校科研管理系统的设计
医院财务风险因素分析及管理措施【2367字】
中国学术生态细节考察《...
国内外图像分割技术研究现状
神经外科重症监护病房患...
AT89C52单片机的超声波测距...
承德市事业单位档案管理...
公寓空调设计任务书