基于大数据平台的元数据管理相关研究(3)
时间:2018-07-19 21:10 来源:毕业论文 作者:毕业论文 点击:次
而整个系统的中心便是元数据和元数据管理，存在于整个项目中，更是直接影响了制定数据 分析方法和确定分析结果。 同时，元数据管理是对于项目中“数据的数据”进行管理的手段，类似于操作系统中的文 件系统，其能从本质上解决企业在数据管理中遇到的困难，对于全面提高数据质量有着重要 的意义，近年来受到大中小及初创公司的广泛关注。 1.2 现阶段研究现状[1] 现在，国内外很多企业和高校的相关专家和厂商都在元数据和元数据管理方面投入了 大量的人力、财力和时间进行研究，并且已经取得了很多的研究和工程结果，因此越来越多 行业内的企业也逐渐提高了对元数据以及元数据管理的重视。但是，无论在科研领域还是工 程应用领域，元数据及元数据管理技术仍然不是非常成熟，存在一些缺陷，同时也以为着有 很广的研究前景和可以改进之初。但元数据和元数据管理技术极强的应用和处于发展瓶颈期 的现状也说明了企业和高校对于元数据及元数据管理技术重要性认识的不足。 1) 在科研领域，[1] 元数据及元数据管理技术的研究已经取得了一定的成绩。同时元数据管理 相关的框架和组件也已经较为成熟， 这使得元数据及元数据管理已经取得部分的自动化实现。 但是这些框架和组件本身按不够成熟或者全面。这主要表现在： 对于复杂且海量的数据的处理能力较弱。这些经过改写的框架和根据企业具体需求所搭建 的组件适用于单一企业内的元数据管理，但是客户一旦需求跨公司、长时间管理涉及不同产 品的系统，其管理效果并不优秀； 这些系统的自动化处理能力并不优秀，其中部分工作对于人工操作的以来较大。目前，要 将不同系统中元数据之间的关系映射出来，仍依赖于手动完成。 2) 在企业应用领域，元数据和元数据管理已经获得了大部分公司的重视和相关投入，但是， 元数据和元数据管理的相关应用也只是处于起步阶段。这主要表现在： [1] 现阶段，元数据和元数据管理整体应用的研究范围小而浅。企业开发大都集中在文护和 分析两个部分。系统文护方面，数据的文护和更新是薄弱点；应用分析也主要用于元数据生 命周期管理、数据字典的构造、数据血缘的分析、数据特征的统计、数据检索的优化以及数 据地图的绘制等普通层面； 现在，很多企业并不看重元数据及元数据管理，所以成熟的、可移植应用的元数据管理项 目很缺乏，但是技术发展较快，同时企业已经逐渐意识到元数据及元数据管理的重要性，可 见，元数据及元数据管理将会出现突飞猛进的发展。 1.3 课题主要研究内容 本课题以江苏华大天益电力科技有限公司用电采集主数据平台项目建设为契机，做一些 关于元数据及元数据管理的研究和具体实现。本文主要介绍了用采大数据平台、元数据相关 概念，论述了数据字典、数据血缘分析及数据特征的相关概念和作用，以及基于以上四点所 衍生出的数据检索及其应用，并详细阐释了具体项目中如何使用到相关技术完成实现。 (责任编辑：qin) |