3。2。4  用于服务器与浏览器交互的JSON数据格式 13

3。2。5  Log4j日志管理 14

3。2。6  JUnit单元测试 14

3。3  系统构架设计 15

3。3。1  硬件系统架构图 15

3。3。2  软件系统架构图 16

3。4  功能模块设计 16

3。4。1  日志存储、管理 16

3。4。2  日志事件抽象与特征提取 17

3。4。3  日志分析与挖掘 18

3。4。4  数据可视化 18

3。5  本章小结 19

4  日志事件抽象与特征提取模块实现 21

4。1  需求与目标 21

4。2  实现方法 21

4。2。1  基于K-means的logSig文本聚类算法 22

4。2。2  算法改进 28

4。3  实验过程与结果 31

4。4  实验结论 33

4。5  本章小结 33

5  日志分析与挖掘模块实现 34

5。1  需求与目标 34

5。2  实现方案 34

5。2。1  基于Apriori的时序模式挖掘算法 34

5。3  实验过程与结果 37

5。4  实验结论 39

5。5  本章小结 39

6  系统测试和运行效果 40

6。1  网站基本信息展示 40

6。2  图表展示事件统计数据 40

6。3  日志事件摘要 42

6。4  日志管理 42

结论 44

致谢 45

参考文献 46

1  绪论

1。1  选题意义与背景

“日志”这个词来自于记录完成活动的日志。日志文件中的信息，称为日志，包括软件系统中发生的事件或行为的开始和结束、状态信息和错误信息。每条日志通常包含发生的日期和时间信息、用户信息、应用程序信息和事件信息等。包含着计算机系统、各式各样软件的宝贵信息，这些信息对于调试、操作分析、异常检测、性能检测来说至关重要。但是一个系统或软件产生的调试日志都是杂乱无章的，很多种类的调试日志都混在一起，很难被直接利用，同时人工分析对于大量的日志来说显得非常乏力，而通过抽象日志为事件类型、挖掘事件模式等方法对日志进行处理，这些处理出来的加工信息是可以直接被开发人员所使用的。在这样的背景下，本文综合应用软件工程的方法，设计了日志管理和分析系统来解决大规模日志数据的存储和管理，应用数据挖掘算法解决日志分类、日志模式挖掘等问题。论文网