基于大数据平台的元数据管理相关研究(2)
时间:2018-07-19 21:10 来源:毕业论文 作者:毕业论文 点击:次
2.2.3 元数据作用. 6 2.3 数据字典7 2.3.1 数据字典定义 7 2.3.2 数据字典组成 7 2.3.3 数据字典各部分的描述.. 7 2.3.4 数据字典的功能和作用.. 8 2.4 数据血缘关系 8 2.4.1 数据血缘关系定义. 8 2.4.2 数据血缘分析 8 2.4.1 数据血缘分析的目的 9 2.4.1 数据血缘分析的研究方向. 9 2.5 数据特征9 2.5.1 数据大小.. 9 2.5.2 数据热度.. 9 3 数据检索..10 3.1 数据检索定义.11 3.2 Hibernate.11 3.2.1 Hibernate 介绍..11 3.2.2 Hibernate 核心接口和类.11 3.2.3 Hibernate 工作原理11 3.3 MyBatis12 3.3.1 MyBatis 介绍.12 3.3.2 功能架构 12 3.3.3 框架架构 12 3.4 MyBatis 与 Hibernate 优缺点对比..13 3.5 使用框架总结 14 3.6 MyBatis 环境搭建与配置.14 3.6.1需要准备的引用包 143.6.2 结构分析 14 3.6.3 结构搭建 15 4 主数据平台系统..18 4.1 整体设计19 4.1.1 应用的技术.. 19 4.1.2 整体框架设计. 19 4.2 详细设计19 4.2.1 数据字典设计. 19 4.2.2 数据血缘 20 4.2.3 数据特性 21 4.3 元数据应用..22 4.3.1 数据检索 22 4.3.2 数据详情展示. 23 4.3.3 数据地图 23 5 程序的详细设计..24 5.1 Entity 层实现和构造25 5.2 Dao层实现和构造30 5.3 Service 层实现和构造 35 5.4 Controller 层实现和构造..41 5.5 配置文件52 5.7 平台界面截图 53 5.8 开发中遇到的问题. 55 5.8.1 J2EE 和框架编程55 5.8.2 Hibernate 和 MyBatis 的对比..56 5.8.3 前后台代码的交互.. 56 5.8.4 Controller 层中的很多算法..56 5.9 测试..56 结 论.57 致 谢.581 引言 如今各个行业的相关企业都相继认识到，快速、高效地运用企业内部的信息已经成为提 高员工及企业绩效的关键。简而言之，公司的基础运营以及常规项目数据中蕴藏着大量的数 据“金矿”，如果这些数据能够得到重视和适当的开发，企业就可以在愈发剧烈的行业竞争中 占得上风。因此，现如今越来越多的业务和统计系统被开发出来以适用于不同规模的企业和 公司，以达到收集不同层面的企业和员工信息，更深地挖掘企业员工价值的目的。可是，受 限制于传统大数据平台较大的开发成本、较长的开发周期、较大的开发难度，这种能力和资 金并不是每个企业所具备的，这让大数据分析成为了大中型企业的“专利”，从而削弱了中小 型及创业公司的发展，这更从侧面证明了大数据平台以及元数据管理在让企业创造卓越绩效 方面的战略价值。 其中，公司内部信息发挥作用受到限制的两个原因如下：一是缺乏准确合理的存储和管 理方式，二是公司内部所能获取的有效数据太少，无法分析得出准确结果。因此，数据的收 集能力和整合能力这两个因素是两个最重要的因素。现在，不同的企业倾向于基于自己公司 的规模和员工数量，建立适合公司的数据仓库，[1] 储存并处理内部信息，而数据仓库是否能 够真正发挥、挖掘数据价值，在本质上依赖于对于“数据的数据”的管理。因此，高水平的元 数据以及元数据管理水平，其系统正在设计之初就决定了其综合了精确的数据分析方式和作 为数据仓库内以供分析的数据的高质量。 1.1 课题研究背景 随着爆炸性增长的海量数据的出现和市场对准确数据分析结果的需求，数据仓库/商务智 能技术产生并快速发展起来。[1] 当前，越来越多的企业正在创立如此一个综合性大数据系统， (责任编辑：qin) |