Keywords: IDS  Decision tree  SLIQ  Hadoop Parallelization

目 次

1 绪论 1

1.1 课题研究背景 1

1.2 研究意义 1

1.3 关键技术 2

1.4 本文的组织结构 4

2 相关技术研究发展现状 6

2.1 入侵检测系统的国内外研究发展情况 6

2.2 机器学习技术在 IDS 中的国内外研究情况 6

2.3 云计算平台的国内外发展现状 8

3 基于决策树的入侵检测算法 10

3.1 决策树算法 10

3.2 Hadoop 的 Map/Reduce 理论 15

4 基于改进 SLIQ 算法的并行化实现 17

4.1 改进的 SLIQ 算法 17

4.2 基于 Map/Reduce 的并行化实现 25

4.3 实验所用的数据集简述 27

5 性能测试 33

5.1 实验环境 33

5.2 性能评估指标 33

5.3 实验结果分析 33

6 结论 37

6.1 论文总结 37

6.2 进一步工作展望 37

致谢 39

参考文献 40

1 绪论

1.1 课题研究背景

随着科技的发展，互联网给人们带来了许多便利，现代社会的社会生活、经济、 军事和文化都越来越离不开 Internet。而与此同时，由于网络系统的固有特性，互联 网也更大程度地也影响了连接到它的系统的稳定性和安全性。作为当今 Internet 中最 为广泛使用的 WWW 服务，黑客入侵 Web 站点的事件屡见不鲜。随着计算机和网络 技术的发展和广泛应用，大数据和云计算时代已经悄然来临，使得信息安全技术成为 了目前亟待深入研究的课题。

虽然静态防御机制（如防火墙、软件更新等）可以提供一定程度上的安全保障， 但更多地还是应该使用动态机制，如入侵检测系统（IDS）。由于现阶段已知的攻击行 为都具有一定的特征，因此，只要挖掘网络中的各种设备产生的日志信息，并进行一 些分析，就能将目前网络中存在的主要攻击行为识别出来。而目前，这种基于 WEB 日志进行安全分析的入侵检测系统已经有不少，但仍然无法满足大数据时代的安全威 胁分析的需求。