商务智能课件：第11章 商务智能应用.ppt

1、Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 1Introduction to商务智能方法与应用第11章 商务智能应用Lecture 11: The Applications of BIPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 2主要内容 11.1 商务智能应用领域 11.2 推荐系统 11.3 意见挖掘Principles and Applications of Business IntelligenceC

2、hap. 11： 商务智能应用 311.1 商务智能应用领域 商务智能经过多年的发展不仅在技术方面不断进步，其应用也深入了各行各业，有着广泛的应用领域，在零售、金融、电信、保险、制造等领域都有很多成功应用的案例。 关系营销（relational marketing） 风险管理 生产管理 Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 411.1.1 关系营销 关系营销（relational marketing）是一种用于管理企业与其利益相关者关系、培养和维护一种长期良好关系的战略。- 交易营销（trans

3、actional marketing） 关系营销最早用于金融、电信等行业，逐步扩展到了制造业领域。 关系营销旨在培养客户忠诚性，提高客户满意度，维护良好沟通，有效开发客户生命周期内的价值。 Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 5客户生命周期 客户生命周期指的是一个客户从潜在客户变为意客户、真正客户，最终成为流失客户的整个过程。在客户所处的各个阶段，借助商务智能技术可以进行有效的关系营销活动，以达到客户满意、企业获利的双赢状态。 Principles and Applications of Bu

4、siness IntelligenceChap. 11： 商务智能应用 6针对关系营销的BI系统是一个不断循环使用的系统 为了完成有效关系营销活动，每次活动通常都涉及分析、计划、执行以及评价等一系列环节。 Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 7用户生命周期中的关键关系营销环节 客户获取（customer acquisition） 客户保留（customer retention） 交叉/提升销售（cross/up sale） Principles and Applications of Busi

5、ness IntelligenceChap. 11： 商务智能应用 811.1.2 生产管理 商务智能可以用于生产企业的生产流程优化和质量控制，提高生产效率，降低生产成本，从而增加企业收入。 很多产品的自动化生产过程都设计了数量众多的工艺参数，如电压、电流等，以及环境变量，如温度、湿度、大气压等，这些变量互相影响，与产品质量息息相关。 发现这些变量与产品质量之间的关系，发现生产过程中的异常，从而及时改进生产流程，提高产品质量，是很多生产型企业都面临的关键问题。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用

6、 9解决生产管理中的问题 Bob Evans为解决印刷公司的生产过程问题而构建了Cylinder Band数据集。 Bob Evans所在的一家从事转轮凹版印刷的印刷厂在生产过程中经常出现非正常停机。 停机是由于出现滚筒条纹，导致大量的印刷品出现质量问题，浪费大量纸张和油墨，并且浪费生产时间，提高了生产成本，提高了不能按期完成产品的风险。 该问题出现在很多印刷厂，是一个普遍存在的问题，因此引起了广泛的关注。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 10Cylinder Band 数据集示例 为了找出

7、导致滚筒花纹出现的原因，收集了生产过程的很多变量，如油墨粘度、湿度、温度，纸张型号、纸张重量、溶剂型号、印刷机型号、印刷速度、静电辅助电压、静电辅助电流、通用的静电辅助密度等等。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 11利用分类技术解决了生产质量问题 利用决策树分类技术构建模型 经过分析，发现了成功印刷的规律，例如，保持低的油墨温度，保持高的油墨粘度等。 将这些规律转变为操作规则告知操作工人之后，滚筒条纹出现的频率慢慢降低了。 利用商务智能实现生产过程的优化成功地解决了该生产问题，提高了生产效率

8、，降低了成本。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 1211.2 推荐系统 Motivation Systems in Action A Conceptual Framework User-User Methods Item-Item MethodsPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 13先看一个例子京东商城购物网站上的推荐信息 Principles and Applications of Bu

9、siness IntelligenceChap. 11： 商务智能应用 14Motivation 20年前,我们在只有几个台的电视机前欢天喜地地度过一整个假期。 20年后,互联网上成千上万部电影即点即看,却不知道要看哪一部。 Amazon的数百万图书，Netflix的10万部电影，淘宝的8亿件在线商品，以及数以亿万计用户的资料和行为记录互联网公司最近十年的迅猛发展伴随着海量数据的积累。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 15Motivation 然而，在线用户常常面对过多的选择而显得无所适从。

10、心理学研究证实这类情境下的用户有时做出放弃交易的决定，从而造成大量潜在的用户流失。 最好的选择，就是不需要选择。这就是推荐系统一个经过十多年技术发展，现在逐渐浮出水面的前沿技术,所要解决的问题。 统计技术的发展能够为在线服务商提供更有效的推荐算法，在帮助用户走出信息过载困境、改善用户体验的同时，还能够挖掘商品长尾、提升企业价值。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 16Motivation（Cont.） User PerspectiveLots of online products, books

11、, movies, etc.Reduce my choicesplease Manager Perspective“ if I have 3 million customers on the web, I should have 3 million stores on the web.”CEO of A SCH01Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 17四个阶段之一面向系统的探索阶段 证明了推荐系统的可行性和效果,激发了人们推动该领域在科研及商业实践方面不断向前发展。 事件:1996年3月在伯

12、克利举办的协同过滤专题研讨会。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 18四个阶段之二快速商业化,规模和价值上的挑战 MIT的Pattie Maes研究组于1995年创立了Agents公司 GroupLens于1996年创立了Net Perceptions 等等，其他公司奋起直追 竞争激烈，公司不得不提高精确度 目标：开发新的算法Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 19四个阶段之三研究大爆发,推荐

13、成主流 2000-2005，随着互联网泡沫破灭,或者无法抗衡将推荐整合到更全面的商业产品线的主流公司，许多推荐系统公司逐渐消亡。 然而推荐系统作为一门技术仍然存在，并广泛应用在电子商务，大规模零售业和各种知识管理应用中。 与此同时，来自人工智能、信息检索、数据挖掘、安全与隐私以及其他领域的研究，都为推荐系统提供了新的分析和方法。 高峰：2006年，Netflix悬赏100万美元寻找提高准确度10%的算法Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 20四个阶段之四前进 推荐领域得到了极大的促动 举例Pr

14、inciples and Applications of Business IntelligenceChap. 11： 商务智能应用 21Example: RecommendationPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 22Example: PersonalizationPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 23个性化推荐Netflix百万美金大奖 Netflix公司（中文译名：奈飞公司）是成立

15、于1997年的美国最大的在线DVD租赁商。2006年10月，Netflix公司宣布启动一项名为Netflix大奖的推荐系统算法竞赛，鼓励全世界的研究团队，以Netflix目前使用中的推荐系统Cinematch为竞争标的，比Cinematch推荐绩效提高10的团队，将有资格获得一百万美元的奖励。 CEO Reed Hastings 说：“这个大赛的魅力之处在于，你可以是身在罗马尼亚的数学家，也可以是在台湾的统计学家，无论你在哪里，都可以成为赢家”Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 24个性化推荐

16、Netflix百万美金大奖(2) 这项颇具挑战性的比赛吸引了5万名计算机科学家、专家、爱好者等参与角逐，短短2周它就收到169个递交，一个月后就超过了一千。 参赛队伍都在为提高这一推荐系统算法的10 的神奇大关而奋斗，但当得分最高者离目标越来越接近的时候，之前看起来简单的事情变得越来越难，进展越来越慢。 当时排在Netflix Prize得分榜前列的参与者都很接近，仅有小数点的差距。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 25个性化推荐Netflix百万美金大奖(3) 当人们认为10%的目标有点遥

17、不可及的时候，2007年 10月一个名字叫“Just a guy in a garage”的竞争者突然冒了出来，并迅速挤进前10。他递交的第一个就达到了7.15%，12月20日他超过多伦多大学团队，2009年1月8 日，他达到了8%，现在是8.14%。一开始没人知道这位匿名参与者究竟是何方神圣，因为他连链接都没留下。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 26个性化推荐Netflix百万美金大奖(4)连线杂志最终找到了他： Gavin Potter，48岁英国人，心理学肄业生，管理顾问，2006年

18、离开IBM去研究机器学习。 他把参与Netflix Prize当作是事业，他说“我想在没有取得一些进展之前提供一个link是任何意义的”，“决定参加Netflix Prize是严肃的，看起来有几分玩笑意味。但并没有多少把握，因为我不是搞研究的，也不是数学家。优势是作为一位没有工作的心理学者，我的时间很充裕”。 Gavin Potter在他的算法里应用了心理学方法，女儿Emily是他的数学参谋。或许让心理学家和计算机科学家联合起来才能取得最后的成功。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 27个性化

19、推荐Netflix百万美金大奖(5) 来自AT&T的研究小组BellKor，它的算法比Cinematch好8.43%，曾位于排行榜第一名。但之后的第一名变为了是3月1日递交的When Gravity and Dinosaurs Unite，高8.82%)。 这场比赛已经演变成一场学术研究事件，像BellKor根本就不是为了金钱，一些参与者甚至还将自己的算法完整公布出来供同行参考，而多数参与者都是搞数学研究的。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 28个性化推荐Netflix百万美金大奖(6) 直

20、到2009年6月26日，这一大关才终于由顶级团队联手形成的BellKors Pragmatic Chaos团队打破，新算法首次突破了10%门槛，达到了10.05%。如果在接下来的30天内无人能递交高于BellKor的新算法，那么它将赢得这场比赛。 7月26日，比赛结束的最后一天发生了一件戏剧性的事件，胜券在握的BellKor于18:18又递交了超过10.06%的新算法。20分钟之后的18:38，包括国内开发者xlvector（项亮）在内的The Ensemble团队递交了一个比长期领跑的BellKor的算法高出0.01%的新算法，似乎有资格问鼎百万美元奖金。Principles and App

21、lications of Business IntelligenceChap. 11： 商务智能应用 29个性化推荐Netflix百万美金大奖(7) 不幸的是，测试结果显示：The Ensemble的算法和BellKors Pragmatic Chaos的算法最终都为10.06%。然而，The Ensemble团队因为比BellKor晚提交了20分钟而与冠军失之交臂，BellKor赢得了奖金。 纽约时报博客采访了Ensemble团队的领导者Greg McAlpin，他表示合作有利于创新，但合作也需要克服困难，他认为多数的合作没有什么用。 Netflix发表声明，正式宣布了Netflix Pri

22、ze 2。 后来Netflix Prize 2因为隐私问题而被取消。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 30Netflix比赛前几名的报告The Bellkor solution to the netflix grand prize (.bib) The BigChaos Solution to the Netflix Grand Prize (.bib) The Pragmatic Theory solution to the Netflix grand prize (.bib) Netfl

23、ix的竞赛只是从推荐准确性的角度评价算法，事实上，还有很多的评价指标可以度量推荐算法的表现。因此，也可以从多个角度对算法进行改进。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 31NETFLIX DVD Renting contest-1 million dollarsPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 32Other Examples Movielens: movies Moviecritic: mo

24、vies again My launch: music Gustos starrater: web pages Jester: Jokes TV Recommender: TV shows Suggest 1.0 : different products And much morePrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 33How it Works? Each user has a profile Users rate itemsExplicitly: score from 1.5Implicit

25、ly: web usage miningTime spent in viewing the itemNavigation pathEtc System does the rest, How?This is what we will show todayPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 34推荐系统的构成 收集用户信息的行为记录模块负责记录用户的喜好行为。例如：问答、评分、购买、下载、浏览等。 分析用户喜好的模型分析模块通过其他方式对不愿向系统提供行为信息的用户的行为进行分析。如购买、下载、浏

26、览等行为，分析用户的潜在喜好产品和喜欢程度，建立合适的模型来描述用户的喜好信息。 推荐算法模块实时地从产品集合中筛选出用户感兴趣的产品进行推荐。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 35Basic Approaches Collaborative Filtering (CF,协同过滤)Look at users collective behaviorLook at the active user historyCombine! Content-based FilteringRecommend i

27、tems based on key-words依据用户选择的产品内容信息计算用户间相似性信息抽取信息过滤Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 36Collaborative Filtering: A Frameworku1u2ui.umItems: Ii1 i2 ij in 3 1.5 . 5 2 213 rij=?The task:Q1: Find Unknown ratings?Q2: Which items should we recommend to this user?.Unknown

28、 function f: U x I RUsers: UPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 37推荐方法之一：协同过滤推荐 基本思想: 如果用户A和用户B的购买经历非常重叠,而且A最近买了一本B还不知道的书,那么这是基本的逻辑就是向B推荐这本书。 由于选择可能感兴趣的书涉及从大量集合中过滤出最有希望的书,而且用户(这里指用户B)是在隐式地同其他人(用户A)相互协作,因此这种技术也被成为协同过滤 CF, Collaborative FilteringPrinciples and Applicat

29、ions of Business IntelligenceChap. 11： 商务智能应用 38推荐方法之二：基于内容的推荐 一般推荐系统有两个目的:1.激发用户去做某件事情,比如购买一本书或观赏一部电影。2.推荐系统也可以被看做是解决信息过载的工具 因此推荐系统深深根植于信息检索和信息过滤领域。 这些领域主要强调区分相关和不相关的文档。(相对于传统电子商务领域的书或数码相机等实物而言) 技术之一:利用文档内容信息进行排名。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 39推荐方法之三：基于知识的推荐

30、需求:为我推荐一款适合我的相机 问题:大量单次购买记录(没有交集),我们无法依赖购买记录(这是协同过滤和基于内容过滤的前提条件。) 此时,系统需要利用额外的因果知识生成推荐,通常会用到有关用户 和有效物品的额外信息。(这些信息一般人工提供) 在个性化交互中,系统能够摸索到用户的喜好 最后根据知识库生成推荐，知识库由领域知识生成。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 40推荐方法之四：混合推荐 组合以上不同技术产生更好或更精确的推荐1.群体知识2.详尽的物品信息 把基于内容的技术与协同或社会化过滤

31、技术相混合就可以增强推荐系统的效果。 问题:哪种方法能被组合?顺序组合还是其他方式?不同方法如何分配权重?Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 41推荐方法之五：推荐系统的解释 解释:为了让用户更容易理解推荐系统的推理脉络。 提高用户对系统的信任度,让用户相信系统给出的建议是公正的 举例:虾米音乐电台Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 42推荐方法之六：评估推荐系统 推荐系统领域研究的主要推动力

32、是提高推荐质量。 问题:如何实际衡量推荐系统所给出建议的质量? 方法之一:从历史数据实验中评估Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 43示例：如何构建一个推荐系统Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 44构建推荐系统的基本步骤1.搜集偏好（Collecting Preferences）2.寻找相近的用户（Finding Similar Users）3.为评论者打分（Ranking the Crit

33、ics） 4.推荐物品（Recommending Items）Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 451. 搜集偏好(Collecting Preferences) 目标：建立一种方法来使得你的用户来参与表达，并把他们表达的内容对应到数字以形成相应的数据集合。 关键：寻找一种表达不同人及其偏好的方法。 举例：购物网站用数字1来代表有人过去购买过某件商品，用数字0来代表未曾购买过任何商品。新闻故事投票网站可以分别用数字-1、0和1来表达“不喜欢”、“没有投票”、“喜欢”。 豆瓣：要求用户对每部电

34、影用1到5颗星来评分，以此体现包括本人在内的每位影评者对某一影片的喜爱程度。 Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 462. 寻找相近的用户(Finding Similar Users) 目的：设计一种确定人们在品位方面的相似程度的方法。欧几里德距离（Euclidean Distance Score）皮尔逊相关度（Person Correlation Coefficient）余弦相似性（Cosine-based Similarity）调整余弦相似性（Adjusted Cosine Similar

35、ity）Jaccard系数曼哈顿距离算法等 Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 47欧几里德距离(Euclidean Distance Score) 以经过人们一致评价的物品为坐标轴，然后将参与评价的人绘制到图上，并考察他们彼此间的距离。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 48皮尔逊相关度(Pearson Correlation Score) 通过判断两组数据与某一直线拟合程度来判断相似度。它

36、在数据不是很规范的时候，如影评者对影片的评价总是相对于平均水平偏离很大时，会倾向于给出更好的结果。 Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 49更高相关系数的情况 Lisa Rose和Jack Matthews在这几部电影上有着更高的相似度（各点更靠近最佳拟合曲线）。 Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 50相关系数的计算 皮尔逊的相关度算法首先会找出两位评论者都曾评价过的物品，然后计算两者的评分

37、总和和平方和，并求得评分的乘积之和。最后，利用这些计算结果计算出相关系数：Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 513. 为评论者打分(Ranking the Critics) 目的：根据指定的人员对每个人进行打分，找出最接近的匹配结果，也即所谓该人的最近邻。 前面例子中，即是要寻找与自己品位相似的影评者。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 524. 推荐物品(Recommending Item

38、s) （最终）目的：一份影片的推荐列表。 方法：查找与自己品位最相近的人推荐给你某人特别热衷的一部影片Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 53推荐列表 Critic列是与Toby进行相似度对比的人名 Similarity列表示他们与Toby的相似度系数 Night、Lady和Luck都是电影名 S.x打头的那几列给出了相似度系数和评分后相乘的结果。Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 54总结P

39、rinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 55Collaborative Filtering Road Map User-User MethodsIdentify like-minded usersMemory-based: KNNModel-based: Clustering Item-Item MethodIdentify buying patterns Correlation AnalysisLinear RegressionAssociation Rule MiningU4U1U3U2U5用户

40、层 项目层R1 R 2 R3 R 4I1Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 56基于用户的协同过滤User-User MethodPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 57Intuition Similar users have similar preferencesIf u u, then for all os, f(u,o) f(u,o) User similarity (Zhang San

41、 vs. Li Si)Suppose Zhang San and Li Si viewed similar movies in the past six months If Zhang San liked the paper, Li Si will like the paperPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 58User-User Similarity: Intuition Q1: How to measure similarity?Q2: How to select neighbors?

42、Q3: How to combine?Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 59其中：用户i的偏好均值： Ii表示用户i的投票范围How to Measure Similarity?-Items RatedCommonly j2Items RatedCommonly j2Items RatedCommonly j)()()(),(iijaajiijaajprrrrrrrriaw Pearson correlation coefficient（相关系数法）iIkikiirIr|1uauii1 in

43、.uaui.umi1 i2 ij in ra1 ra2 ranri1 ri2 rinrm1 rm2 rmn Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 60How to Measure Similarity?-Items RatedCommonly j2Items RatedCommonly j2Items RatedCommonly j)()()(),(iijaajiijaajprrrrrrrriawi1i2i3i4i5i6u11223u22325u334512u423421111131151212

44、2322521111311512122322522222222222()()()()()()(1,2)()()() ()()() (12)(23)(22)(33)(32)(53) =(12)(22)(32) (23)(33prrrrrrrrrrrrwrrrrrrrrrrrr-2230.9510)(53) -Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 61How to Measure Similarity?jijjajjijaj2222rrrr*.),(iaiacrrrriaw Cosine measu

45、re-Users are vectors in product-dimension space.uaui.umi1 i2 ij in ra1 ra2 ranri1 ri2 rinrm1 rm2 rmn Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 62Cosine measure22*.),(iaiacrrrriaw Cosine measureE.g： ra=(ra1, ra2) ri= (ri1, ri2)余弦定理cos()=( a2 + b2 -c2 ) / 2aba2= (ra1 -0)2+ (

46、ra2-0)2 = ra1 2 + ra2 2 b2= ri1 2 + ri2 2 c2=(ra1 -ri1)2+(ra2 ri2)2 ra1 ri1ra2 ri2abc112222221212( , )aiaiaaiir rr rW a irrrrPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 63How to Measure Similarity?i1i2i3i4i5i6u11223u22325u334512u423421112113231525111315212325222222222222(1,2

47、)1 22 33 523 =0.99714 38123235cr rr rr rwrrrrrr 22ajijjajijjjrr( , )rrcw a iPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 64Did We Answer the Questions? Q1: How to measure similarity?Q2: How to select neighbors?Q3: How to combine?Principles and Applications of Business Intelli

48、genceChap. 11： 商务智能应用 65How to predict? 用户a对项目j的预测偏好-iiijiaajiawrriawrr),()( ),(User as neutralUser is deviationUser as estimated deviationi是a的邻居i1i2i3i4i5i6u11223u22?325u334512u423421W(u1,u2)=0.997W(u2,u4)=0.86 221214242(2,1)()(2,4)()(2,1)(2,4)0.997 (22)0.86*(3 2.4) =3+3.270.9970.86wrrwrrrrww-Princ

49、iples and Applications of Business IntelligenceChap. 11： 商务智能应用 66Did We Answer the Questions? Q1: How to measure similarity?Q2: How to select neighbors?Q3: How to combine?(Breese et al. 98)All usersPrinciples and Applications of Business IntelligenceChap. 11： 商务智能应用 67Nearest Neighbor Approaches SA

50、R00a Offline phase:-Do nothingjust store transactions Online phase:-Identify highly similar users to the active oneBest K onesAll with a measure greater than a threshold Prediction-iiijiaajiawrriawrr),()(),(Principles and Applications of Business IntelligenceChap. 11： 商务智能应用 68Clustering BRE98 Offli