4。4。2 Better local optima

After having trained the network on the unlabeled data, the weights are now starting at a better location in parameter space than if they had been randomly initialized。 We can then further fine-tune the weights starting from this location。 Empirically, it turns out that gradient descent from this location is much more likely to lead to a good local minimum, because the unlabeled data has already provided a significant amount of "prior" information about what patterns there are in the input data。 第一章 概述论文网

迅猛发展的计算机技术、网络技术和传感器技术使得诸如天文、军事、生物、医疗、管理等学科的数据采集和数据传输更为便利和快捷，从而使得数据日趋复杂，规模不断增长，形成了大量类型复杂、形式异构的高维海量信息。从数据的描述看，数值型、名义型、区间型、缺省型、集值型等多种类型数据并存构成了复杂数据的主要特征。对复杂数据的建模、分析与利用已成为当今诸多应用领域知识发现面临的主要任务，而数据的复杂性是知识发现面临的主要困难之一。复杂数据已成为现代社会中数据资源和知识发现的主体。

复杂数据的数据建模是其分析与利用的基础。近年来，借鉴认知科学的研究成果来创新数据建模理论与方法越来越受到人们的重视。基于认知科学的数据建模主要从两个方面进行研究，一类着重于感知机理的理解与模拟，另一类着重于认知机理的理解与模拟。作为人类认知的重要特征之一，粒化认知对复杂数据建模具有重要的借鉴作用。借鉴人类的粒化认知机理，有望诞生新的数据建模理论与方法。开展基于粒化机理的复杂数据建模研究，关键是要解决如下三个核心科学问题:

如何有效地进行复杂数据信息粒化？

如何分析粒化的不确定性？

如何借鉴粒化机理进行数据建模？

有鉴于此，本文面向包含数值型、名义型、区间型、缺省型、集值型在内的复杂数据，借鉴人类的粒化认知机理，紧紧围绕三个核心科学问题，从信息粒化、粒化不确定性、建模策略与模型选择四个层次展开系统研究，获得的主要研究成果和创新概括如下：

一、完善了复杂数据的信息粒化方法与算法体系，深刻揭示了复杂数据的粒化机理，为基于粒化机理的复杂数据建模提供了基础。

提出了如何有效地进行带测量误差的数据聚类问题，给出了一种适合于带测量误差数据的聚类算法。实验分析表明：考虑测量误差的聚类算法可能比仅考虑测量值的聚类算法所获得的聚类结果更加贴近于数据的真实分类；误差数距离提供了度量带测量误差对象的差异性的有效方法。

发展了一类基于选举类别代表策略的k-representatives算法，在半监督环境下该算法在名义型、集值型以及缺省型数据的聚类分析中，其聚类精度、纯度、召回率与迭代次数四个聚类性能评价指标都显示了明显的优势。特别地，由于这个聚类策略回避了数据的空间结构分析，该算法不仅可用于单一数据类型的聚类分析，而且也可用于包含数值型、区间型、名义型、集值型和缺省型等多种类型并存的复杂数据的聚类分析。

二、建立了粒空间的运算方法，从代数角度和几何角度刻画了粒空间的结构特征；揭示了信息粒度度量的本质，为粒化不确定性研究提供了约束性理论与指导性方法。

在粒空间结构研究方面，给出了不同类型粒空间统一的知识表示方法；提出了交、并、补、差四个粒空间算子，给出了精确/模糊粒空间之间的合成、分解与转换运算方法，证明了所有粒空间与这些算子构成了完备有补格，从代数角度揭示了粒空间的层次结构特性；提出了知识距离与模糊知识距离的概念，在其意义下精确/模糊粒空间是一个距离测度空间，从几何角度揭示了粒空间上的几何结构特征。