Kafka大数据平台的数据传输模块开发设计(4)
时间:2019-01-27 11:13 来源:毕业论文 作者:毕业论文 点击:次
本文将在对这个基于Hadoop大数据基础平台有一定了解的基础上，完成对非结构化数据传输模块的设计目标。通过对各种传输工具的调研，从几个角度比较不同工具的优劣，最后根据系统的需求，选择最适合的工具，并将选择的工具应用到系统中，在实践过程中发现不足之处，能够加以完善。最后完成一个配置管理模块设计和开发，管理人员可以通过这个平台完成对传输模块中日志数据的可视化管理，排除一些不合理的情况，从而使保证该模块的高效可靠的运转。 1.4 论文结构 本文主要分为五章： 第一章是对大数据传输研究背景和项目背景的简要介绍，解释了研究数据传输的意义以及在大数据平台下的作用。 第二章是对主流的分布式传输系统的比较以及结论，之后介绍传输模块中涉及的相关技术。 第三章首先详细分析了数据的传输机制，此外还介绍了一个国内二次开发成果，通过两者的对比，以便更好的了解组件的性能特征。 第四章是应用以及设计的介绍，首先通过一个简单的开发用例介绍平台的安装配置以及运行。而后简要的介绍了可视化管理模块的设计和开发过程。 第五章是总结和展望，对全文内容的进行总结，并阐述了下一步的研究方向。 (责任编辑：qin) |