1。4 python背景介绍

大数据是新兴产业，最近几年很火。但是能火多久，这是一个未知数。因为它才刚刚发展起来。很多公司都需要构建这类平台来处理自己的资料。人们对世界看法和摸索越是靠前，数据规模越是扩大，人们对构建大数据平台的需求就越大。这不但对数据采集能力有很大的要求，更需要对数据进行发掘开发的才能。然而，当今时代信息高度发达，但我们身边也充斥着很多没有用的信息。所以我们一定要坚持进步我们的数据挖掘技术，使它发挥出越来越重要的作用。From优Y尔E论W文W网wWw.YouERw.com 加QQ75201,8766

Python语言现在也很流行。它也是数据分析的一种重要的语言。Python的最大特点就是通俗易懂。即使没学过编程的人，也能自学Python。虽然如此，但它的应用领域还是相当广泛，从数据采集不断延伸到运用开发层面。运用Python语句做开发，无需过多关注语言细节，开发者能够将主要注意力放到业务上去。

和其他语言相比。Python的优势特点等都是显而易见的。首先，Python的代码运转机制有字节代码和二进制代码两种，比Java在代码的运转上更方便；第二，Python的使用历史已经很久了，因而它的语法使用更为稳固；第三，Python是一种动态的语言，是面向对象的语言，它可以动态地加载模块，并完成对函数的增删；最后，Python提供了规范的GUI框架。这使得我们可以免费使用开放的源代码。但是网络是在不断更新的，Python想要继续保持自己独有的优势，就也必须不断推陈出新。

在设计Python语言的时候，它推陈出新，把很多其他语言的优势融入自己。不仅如此，它还通过不断地优化，是自己的优势更加明显。Python在ABC语言的基础上优化了对字符串的处理、简化了控制语句，同时还舍弃了其他语言在其它一些方面的不足之处。正因如此，python语言很快扩大到世界范围内，并且一直保持着高使用率。[4]

2 决策树及随机森林

2。1 决策树算法

决策树创建的算法多种多样。其中最常见的是通过迭代的方法来构建决策树。就如上面所介绍，它从决策节点开始，然后从众多方案中选取最优的方案，把它作为第一个决策点，接着以此类推把新的决策点作为根点，继续寻找最优的方案，当它发现无法再通过增加级数来获得更多的节点时，算法也就会退出。[5]

当然，决策树同时也可以通过计算条件概率的方法来构造。而且如果依靠逻辑算法来构造决策树，可以取得更加理想的效果。 数据库已如下所示:

 (x,y)=(x1,x2,x3,……,xk,y)

其中变量Y的意思是。通过区分不同类别或者使事物更普通化产生的结果。其他的X这些变量则是帮助我们达到目的的变量。

图 1

和大多数分类算法一样，决策树算法也是有2部分组成的。

第一步是训练它。换句话讲就是通过大量的数据来构造这棵树。此过程需要用到近邻算法。而近邻算法是指一种惰性算法。在用它进行分类时，它才开始干活。如果不使用它，它并不会运转。相反，决策树跟大多数算法的方法类似。它是一种积极学习的算法。在第一个阶段过程中，决策树就能创建模型。

其次是预测阶段，用训练好的决策树预测新数据的类别。以上图1为例，

“今天是晴天吗？热吗？不是”的结果“好天气”。

剪枝顾名思义就是剪断决策树的树枝，使其停止对多个目标进行分类比较。它分2种，第一种是先确定一个目标，然后到达该目标时立刻剪枝。不过这样做容易导致好的决策的错过，因为一旦停止，后面所有可能的好决策都不会再考虑了。这也是产生较大误差的一种原因。