（3）可扩展性方面：

传统 IDS 都是环境相关的，在新的环境下，它的重用或定制都会较为困难。 再加上目前的 IDS 大多是集中式的，想要对其添加新的检测模块或功能将会变 得相当困难。

目前主要的 IDS 都需要通过人工输入，来创建攻击特征或决定正常行为的有效 模式。但随着入侵行为越来越密集地出现，攻击种类的多样化、复杂化，这样的方式 已经无法适应日益严峻的安全防护形势。

因此，入侵检测系统的实现关键就在于，应该使用怎样的方法，才能在海量数据 中高效地提取出有代表性的特征，来对程序或用户行为加以描述。本毕业设计采用了 云计算环境下的机器学习方式，对 WEB 日志进行安全威胁分析，在一定程度上弥补 了传统 IDS 的不足，对 WEB 安全防护起到了一定的积极意义。

1.3.2 云计算与 Hadoop

云计算是一种基于互联网的新型计算方式。它主要通过使计算分布在大量的分布 式计算机上，借助 SaaS、PaaS、IaaS 等业务模式，将其强大的计算能力供给终端的 用户使用。用户只需关注自己的应用，而免去了对计算机性能的担忧。云计算目前还 没有统一准确的定义[2]，根据美国国家标准与技术研究院(NIST)对云计算的定义[3]， 云计算是一种按使用量付费的模式，这种模式通过可用、便捷、按需的网络访问， 进 入可配置的计算资源共享池，使这些资源可以被快速使用。用户只需要投入很少的精 力进行管理，或与服务供应商进行尽可能少的交互，就可以获得包括网络、服务器、 存储、应用软件、服务等在内的资源。论文网

得益于云计算的上述特性，现在的计算和存储能力都得到了大幅度提高，可靠性 能有了质的提升，共享计算资源的程度和使用效率大幅提高，很大程度上降低了用户 购买机器和维护的成本。因此，利用云计算进行海量数据的存储及挖掘都是具有理论 和实际应用价值的研究方向。

图 1.1 Hadoo 的基础架构

而 Hadoop 是 Apache 基金会下的一个开源项目，包括许多子项目。它实现了云 计算软件平台的基础架构，如图 1.1 所示。其中最重要的就是分布式文件系统(HDFS) 和 MapReduce 框架。它已成为工业界、学术界进行云计算研究应用的标准平台，被 广泛应用于各大公司，包括国外的 FaceBook、Twitter，国内的百度，阿里等公司。

因此 Hadoop 是云计算技术中重要的组成部分，本课题的具体实现就是利用了云 计算技术中的 Hadoop 技术。

1.3.3 机器学习

机器学习是人工智能中的一门科学，它的主要研究对象是人工智能，着重于基于 从经验中提取已知特征进行预测。随着人工智能的深入发展，现在真正的智能系统应 该是具有自我学习能力的，以往的缺少学习能力的智能系统已经过时。因此，机器学 习渐渐成为人工智能领域研究的核心内容之一。机器学习有监督、无监督、半监督和 增强学习几种。常见的监督学习算法包括回归分析和统计分类两种，包含了很多种算 法，如决策树、支持向量机（SVM）、人工神经网络算法等。其中，决策树算法相对 来说更易于获取特征，分类效率较高，计算量较小，是本课题所采用的机器学习方法。

1.4 本文的组织结构

本文具体的结构如下： Hadoop云计算环境下的Web应用日志安全威胁分析(4):http://www.youerw.com/jisuanji/lunwen_77079.html