浅析大数据模型和算法在企业生产和物流领域应用

中图分类号:F253。9文献标识码:A

Abstract:Bigdataanditsrelatedtechnologiesarethehotissuesofwholesociety,thisarticlefirstintro论文网ducesconceptofbigdata,thenanalyzesthebenefitwhichbigdatacanbringtoindustriesandenterprises,andemphasizestheapplicationsofmainmodelsandalgotithmsofbigdata,thenanalyzestheprogressofapplicationofbigdatamodelsviatheangleofproductionandlogisticsfields。

Keywords:bigdata;model;algorithm;production;logistics

大数据是近年来学术界和产业界共同关注的热点问题,2015年5月国务院下发的中国制造2025规划中将大数据作为未来十年发展的重点方向之一,目前国家工业与信息化部正在着力编制国家大数据发展十三五规划“。这些动作都表明大数据在有着广阔和巨大的发展空间,并且将受到国家产业政策的长期重点扶持。

2014年,软件业务收入为3。7万亿元,其中数据处理和存储类服务实现收入6834亿元,同比增长22。1百分号,占全行业比重为18。4百分号。大数据已经在金融。通信。交通。制造。医疗等各个领域开展较多应用,并将成为制造业转型升级和提升竞争力的关键要素。

1大数据简介

目前学术界并没有对大数据有一个明确严谨的定义,只是一般来说,如果一个行业或者企业能够产生大量的数据,一般就称之为大数据“。从技术层面理解,大数据的大“一般体现在以下几个层面:(1)存储介质大,对于大数据而言,一般的桌面级电脑的硬盘已经远远不能满足需求,往往需要大型的磁盘阵列等进行存储,同时由于大数据行业每天都在产生大量的数据,因此对于大数据的压缩。备份等方面均提出了比较高的需求;(2)处理能力强大,随着数据量的攀升,对于处理系统技术的要求是呈几何数量提升的,例如新浪微博需要为千万级用户实时快速计算并刷新关注。粉丝。微博的计数,并对用户及时通知新消息等,这些都需要极高的处理能力;(3)来源多样化,大数据可能是非常规整的各类数据,也可能不是规整的数据,例如非结构化的自然语言等,这些也给大数据的处理和利用带来了技术上的难度。

目前在国内,数据分析和挖掘领域做得比较好的还是在通讯。金融。互联网等行业,主要作为传统行业的制造型行业,在大数据方面的应用还是比较少的,或者至多是处于起步阶段。下面我们首先看看大数据能给行业和企业带来什么?

2大数据能给我们带来什么?

根据大数据“概念的提出方――美国IBM公司的构想,大数据将主要在四个方面给我们带来收益:

2。1节约成本

可以运用大数据技术有效地节约成本,这一点在生产型企业表现得比较突出,例如美国GE公司在飞机制造中利用大量分布在飞机涡轮上的传感器上传回的实时数据进行分析,从而有效地预测飞机叶片上何时会产生裂缝。另外一个著名的案例是美国UPS公司在公司的送货车安装了4。6万多个远程信息感应器,用来传送速度。方向。刹车以及行驶表现数据,公司对这些大数据进行分析以优化货物的运送路径。在国内也有一些企业采用大数据技术来降低生产成本,例如北京。广东的数家生产型企业利用IBMSPSS的预测性维护“模块来智能预测设备的最佳维护时间,从而有效地降低了企业的生产成本。

2。2有效地缩短计算时间

在大规模生产和运营的过程中,有很多数据需要及时刷新。分析和利用,采用常规技术和手段计算时间比较慢,无法达到生产和运营的要求,因此需要参与创新的大数据技术来缩短计算时间,例如某印刷企业对商品的打折定价最优化的计算,原来需要27小时才能做完,采用大数据技术后,1小时就能计算完毕。

2。3生产虚拟模型化提升运营效率

在传统的制造企业中,大量的数据分布于企业中的各个部门中,要想在整个企业内及时。快速提取和汇总这些数据存在一定的困难,创建产品生命周期管理(PLM)平台是解决这个问题的方法之一,其好处在于可以充分整合来自研发。工程。生产部门的数据,对工业产品的生产进行虚拟模型化,优化生产流程,提升组织的运营效率,缩短产品的研发与上市时间。西门子的PLM软件平台可以在计算机生成的三维模型下模拟生产工艺,在实际生产之前发现生产工艺中的薄弱点,安徽奇瑞汽车曾经利用它查出某车型头灯生产中的问题,为公司避免了10多万美元的损失。

2。4更准确地判断市场需求

运用大数据技术,可以提高市场营销的效率,例如在网站页面上对用户进行产品推荐,在海量数据中对用户的消费者行为进行分析,甚至进行一些跨部门跨行业的大数据分析,将其结论用于产品和服务的创新。在工程机械行业,很多挖掘机都安装了GPS定位系统以实时监控车辆运行情况。同样,日本小松公司的挖掘机也安装了GPS定位系统,在实时监控车辆运行情况的同时,还根据挖掘机每个月的工作量统计全年的工作情况并由此判断下一年度的市场需求。挖掘机开工越饱满,说明市场需求越旺盛,如果客户购买挖掘机后每个月的工作量很少,说明市场有可能面临过剩的风险。在明确了大数据能够给行业和企业带来变革和改进之后,继续进一步细化分析大数据技术包含的常见的算法和模型。

3大数据常用模型和算法

无论采用什么样的技术架构和存储设备,大数据的应用最后还是要落实到具体的模型和算法上,因此对数据分析和挖掘模型和算法的理解,进而对理解大数据在行业和企业的应用非常有帮助。

从目前的市场态势看,常用的分析模型和算法基本上都已经被编制成软件模块,因此从市面上流行的分析软件和解决方案入手,基本可以搞清楚主要的分析模块。目前在数据分析挖掘软件上比较领先的公司有IBM。SAS。SAP等,纵观这些市场上的著名软件,可以将主要的数据分析挖掘的模块区分如下:

(1)异常值分析:异常值分析是数据分析和挖掘的重要问题之一,异常值指数据中的极大值。极小值或者背离趋势的值,例如原来数据是在增长中,突然数据开始下降,也可以作为数据异常值考虑。异常值的模型和算法中包括三倍标准差等算法,在此不再赘叙。

(2)相似或聚类分析:从大的范畴来看,相似或者聚类都属于数据分类的范畴,相似是把数据中有相似特征的数据挑选出来分门别类,聚类的思路也比较类似。

(3)数据间关系判断:我们经常要搞清楚数据之间的关系,回归是分析数据之间是否有关系以及将数据间关系用类似数学方程式的方式表达的分析方法,回归包括一般的线性回归。非线性回归以及logistic回归等。

(4)关联分析:关联分析是数据挖掘中的经典算法,它主要关注数据之间是否同时出现以及数据之间次序出现的关系,例如数据A和数据B同时出现的概率是多少,也例如数据A出现的时候。数据B出现的概率是多少,关联分析的结果经常被用来产品的营销推荐和捆绑销售。

(5)决策树工具:决策树实际上也是一个分类算法,该算法采用树形结构分析数据之间的相互影响关系,来探讨数据之间的影响关系和次序关系,例如汽车销售4S店利用决策树模型对汽车选购数据进行分析,分析性别。年龄。职业。首次购车/非首次购车等因素对于汽车品牌等选择的影响,取得了比较好的效果。目前比较好的决策树模型有c5。0。CHAID等著名算法。

(6)预测模型:预测一直是数据分析和挖掘的核心功能之一,预测是在历史数据的基础上对未来数据进行预测,目前市面上流行多种预测模型和算法,包括时间序列。神经网络等。

在以上的统计挖掘模型之外,近年来在大数据领域受到热点关注的功能就是网络爬虫功能。爬虫就是按照一定的搜索需求在互联网上进行内容抓取,例如在某一个特定的网站上抓取价格“相关的信息。爬虫软件目前在如下几个方面得到了重点关注并获得了较多的应用:网络营销。产品设计。舆情分析等方面,商家希望及时获得消费者和社会大众对于产品的评价和反应,以确定自己的包括定价在内的营销策略和产品设计,政府希望获知老百姓对于政府政策。突发事件等方面的反应等。现在市面上爬虫软件众多,有开源免费的软件,也有收费的商业软件,功能差异很大。值得注意的是,一些企业处于保护自身竞争优势以及企业机密的角度出发,现在逐步开始对爬虫软件进行限制,例如新浪微博。腾讯微信等,这在很大程度上限制了爬虫软件的应用。

4大数据模型和算法在企业中的应用

从企业的职能来说,主要可以分为生产。采购。营销。财务。人事等职务,其中生产和营销是企业最主要的功能,主要看大数据模型算法等在企业生产和物流方面的应用控件。

4。1在生产领域的应用

在生产领域,大数据技术现在应用的最大亮点莫过于提高生产质量和降低生产成本,我们以异常点分析和聚类模型为例,上海某大型印刷企业在收集不同批次的产品质量数据之后,采用以下的步骤进行产品故障分析:

如图1,在产品批次数据库上,采用聚类算法将低产品合格率的批次数据挑选出来,在多工序多机台的工作环境下,采用加工路径分析“方法找出可能存在问题的机器设备,然后结合实验设计调整生产工艺参数,提高产品质量。

另外一个降低生产成本的案例是IBMSPSS推出的预测性维护“的数据挖掘模块,工厂设备的维护基本是按照定时维护“的原则,即制定好设备的维护计划,到点就对机器设备进行维护,而不管设备的实际运行状况如何。预测性维护“模块首先会收集大量的关于设备的各项数据,包括设备类型。运行天数。工作电压。距离上次服务的天数。距离下次服务的天数。故障历时记录。计划内和计划外的维护成本。零件相关的数据等等,然后进行相关的统计分析(包括比较复杂的数据回归等),并给出最佳的设备维护建议。国内外一些生产型企业采用了该模块后,取得了比较好的效果,有效地降低了企业生产和维护成本。

4。2在物流领域的应用

大数据模型和算法在其他领域的应用也在增多,据笔者了解到,上海某大型印刷企业针对其物流成本高的现状,借助数据分析和挖掘技术对该企业的物流成本进行了分析。该企业将过去五年的物流成本进行了汇总,其数据以周为单位,整理了包括包装。运输。库存。装卸四大类物流成本,明细的会计科目有22个,随后采用相关分析和回归分析等手段对物流成本数据进行了分析,通过分析,该企业明确了各类物流成本的占比以及弹性,明确了物流成本压缩的重点,取得了较好的效果。

在物流业实施RFID技术的研讨和实施一直在持续不断地进行着。RFID(无线射频识别技术)是一项电子标签,配套其他外围基础设备,如外置天线。读写装置和打印机等的系统技术。RFID是通过发送信号“。接受信号“以及处理信号“三大步骤来完成的。利用RFID技术,将特殊的信息编码写进电子标签,粘贴在需要识别的物体上,通过无线射频方式进行非接触双向通信,一边识别一边交换数据。惠普在美国田纳西州的物流配送中心仓库,为北美多个企业,如沃尔玛。BestBuy等提供促销专用的打印机。惠普与参加打印机促销活动的商家展开活动,以托盘为单位进行RFID标签应用,为装载促销打印机的托盘上加贴一张RFID标签,打印机从配送中心出货后,在各个中转点进行数据的读取和采集,这样产品在何时。何地或者经过何地这些实时信息,可以提供给决策者进行决策,能够及时处理和判断各类问题。通过RFID技术,可以大大提高商品的物流和营销效率。

大数据效益最终不是体现在直接的经济收益上,而在于帮助企业提升竞争力,能够更清楚地应对客户需求,提供优质服务,只要我们的制造业水平能随之得以提高,制造业+大数据的做法就应该坚持下去。“

5结束语

大数据技术目前在各行各业的应用都在推进,制造型企业也是如此。相对于金融。通讯等行业来说,大数据技术在制造业基本还处于起步阶段,但是这也预示着大数据各项技术在这个行业有很大的应用空间。对于制造型企业来说,关注大数据技术及其发展趋势,结合行业的需求现状,合理采用大数据技术,有效地推进企业的生产。降低成本。提高运营效率,是相关企业目前需要关注的重要问题之一。

浅析大数据模型和算法在企业生产和物流领域应用