基于关联规则的Hadoop平台商品推荐系统
时间:2018-07-18 20:38 来源:毕业论文 作者:毕业论文 点击:次
| 摘要电子商务领域，经常采用基于以往客户的浏览购买记录，通过一些数学模型和统计方法，预测出新用户的购买喜好和产品需求，进而向用户推荐商品和服务。现有的推荐系统大多都是利用客户对不同商品的偏好，采用协同过滤算法计算用户之间的相似度进行推荐商品。但与此同时，商品之间也是有关联的。利用基于关联规则的推荐算法，揭示不同商品在销售过程中的相关性，以简单的数学模型、海量的支撑数据来完成推荐结果的计算。本项目旨在设计并实现一个基于关联规则的商品推荐系统，利用Hadoop平台的分布式数据和处理能力，对于海量数据进行快速处理分析，得到推荐结果。25864 关键词： 数据挖掘 关联规则 推荐算法 Hadoop 毕业论文设计说明书外文摘要 Title Hadoop based Association Rule Mining for Commodity Recommendation Abstract In modern society, the e-commercial business often uses mathematical and statistics methods, based on the historical purchasing records, to predict the demands and preferences of new customers and then recommend products to them. Most current systems make those recommendations according to customers’ preference on different products. To be specific, they are based on the similarities computed between users with collaborative filtering algorithm. On the other side, there is also a correlation between goods. It is meaningful and practical to figure out the relevance between commercial goods with the recommendation algorithms based on the correlation rule, and then complete the calculation of the recommendation results with the simple mathematical model applied on massive data. This project aims to design and implement a goods-recommendation system based on correlation rules, using distributed data storage and processing ability on Hadoop platform in order to analyze massive data rapidly and finally get the required results. Keywords： Data Mining, Association Rules, Recommendation Algorithm, Hadoop 目 次 1 引言 1 1.1 推荐系统 1 1.2 发展现状 1 1.3 研究内容及意义 2 2 常用推荐技术 3 2.1 推荐系统相关技术 3 2.2 推荐技术的比较 4 2.3 推荐技术的选择 5 3. 推荐系统算法及技术介绍 6 3.1 关联规则经典算法 6 3.2 Hadoop分布式系统架构 18 3.3 Django网站应用架构 20 4. 推荐系统的设计与实现 22 4.1 开发环境的搭建与配置 23 4.2 数据源的获取 23 4.3 数据的预处理 25 4.4 关联规则的挖掘 25 4.5 推荐结果的展示 27 5 实验 29 5.1 算法正确性验证 29 5.2 分布式测试 32 5.3 前台展示测试 34 6 展望 36 结 论 37 致 谢 38 参考文献39 1 引言 1.1 推荐系统 随着互联网的普及，网上购物逐渐走入人们的生活中，像淘宝、京东这样的购物网站极大地方便了人们的购物体验，越来越多的人习惯于网上购物，线上消费已经逐渐成为一种生活习惯。 随着电子商务的蓬勃发展，电子商务的规模日趋庞大，商业流程也越来越复杂。海量的商品交易数据增加了人们过滤无用信息的难度，对推荐系统[1]的需求越来越强烈，随着推荐技术从学术走向应用，各大在线购物网站都推出了自己的商品推荐系统，例如亚马逊的购物网站，网站能根据不同的用户的浏览记录、购买记录和商品评价等信息，在首页中对顾客进行不同商品的展示，同时当顾客购买了一个商品后，会同时给顾客推荐一些相关联的的产品，这大大减少了人们过滤无效信息的时间，提高了效率。同时，随着工业界的需求，越来越多的人从事推荐技术的研究，各种高性能的推荐算法[1]被发明出来，并被广泛地应用到各个行业，个性化推荐正在渗透到我们生活的方方面面。 (责任编辑：qin) |