电商经济形态背景下的数据挖掘、大数据分析技术及实用案例课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《电商经济形态背景下的数据挖掘、大数据分析技术及实用案例课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 经济 形态 背景 数据 挖掘 分析 技术 实用 案例 课件
- 资源描述:
-
1、引 言2随着云计算、物联网、社交网络等新兴服务的兴起,人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式到来。数据从简单的处理对象开始转变为一种基础性资源,如何更好地管理和利用数据,从已有的数据资源中挖掘出更大的价值已经成为普遍关注的话题。本课程从数据挖掘以及数据分析讲起,结合大数据背景时代行业特点与现状,希望能对如何利用当前数据资源开展数据挖掘工作及有效的进行数据收益分析做一些有益的探讨。第一篇第一篇 思维模式篇思维模式篇要想上战场杀敌,你首先得让自己成为一个士兵!找准定位精准定位视角责权渠道效果4视 角视 角视 角89企业的决策结构相当于中枢神经系统,情报系统相当于神经系统,资
2、金管理相当于血液,知识管理(方法、工具)相当于骨架,人力资源(能力)相当于肌肉。传导动作反应信息情报管理决策u如何理解信息情报的功能性责 权u情报的多渠道来源情报的多渠道来源不同渠道的情报内容不同不同渠道的情报内容不同时效提提炼炼甄甄别别同行合作伙伴网络朋友人力资源分支技术来源分支经济来源分支情情报报圈圈国家经济指标房地产消费水平股市资讯公司分支分析报表、CEOS销售人员 广告宣传活动客户竞争对手技术来源分支信息收集信息分析情报储存信息情报传递渠 道11内部信息内部信息公司战略营销政策产品服务数据财务报表市场分析报告销售人员业绩外部信息外部信息 媒体新闻 行业统计 股市资讯 同行网站 分销商报
3、表渠 道信息情报来源真实性评估信息情报来源真实性评估据美国据美国308家公司的调查结果显示:家公司的调查结果显示:销售人员 96%顾客 92%行业期刊 89%公司的促销材料 84%营销研究人员 83%对竞争对手产品的分析 81%公司的年度报告 77%会议、贸易展会 74%分销商 70%供应商 65%渠 道u如何应用情报的?13谁在用?谁在用?为什么用?为什么用?谁没有用情报?为什么?谁没有用情报?为什么?在什么情况下用?在什么情况下用?通过什么方式?通过什么方式?使用者是如何获得情报的?使用者是如何获得情报的?他们获得情报的意愿如何?他们获得情报的意愿如何?效 果u情报工作中可能出现的问题14
4、工作重点不明确:工作重点不明确:最佳分配最佳分配 5%10%30%15%20%20%实际使用实际使用 5%5%20%50%5%25%确定确定需求需求搜集搜集情报情报识别识别筛选筛选研究研究整理整理提供提供传播传播沟通沟通说服说服效 果15报告种类报告种类描述描述战略价值战略价值水平水平目标客户目标客户报告的频率报告的频率新闻公告新闻公告包括来源于内部和外部的战略及战术方面的信息。包括:已印刷出版或未印刷出版的信息低一线销售人员市场推广/销售管理人员其他管理人员每月一次或每周一次竞争对手简介竞争对手简介包括竞争对手的基本情况,通常是放在一个文件夹或可供随时检索的数据库内,并可经常进行更新低市场推
5、广/销售管理人员前线销售人员其他管理人员按要求而定战略影响战略影响工作表工作表和新闻公告近似,但会确认对企业战略和战术有影响的事件中市场推广/销售管理人员其他管理人员每月一次每月情报简报每月情报简报包括主要的战略新闻和影响因素,以高度浓缩的形式报告 中高级管理人员其他管理人员每月一次形势形势分析分析汇总主要的战略问题,并包括支持汇总的详尽分析中-高高级管理人员其他管理人员按要求而定特别情报汇总特别情报汇总关于某一确认情况或问题的一到两页长度的报告。汇总主要的支持性分析,并提供相应行动的建议高高级管理人员按要求而定效 果16第二篇 行动实践篇 我 们 应如如 该何何操操 作作?Contents目
6、录17数据挖掘与分析的基本概念数据挖掘与分析的流程及方法数据挖掘与分析系统框架的设计数据挖掘与分析的基本概念定义历史特点功能重要性18第一部分19我们身边的数据挖掘与分析如今,网上购物已成为大部分人的消费趋势与习惯,而大家在网上购物时,经常会收到系统做出的个性化推荐。比如:亚马逊会推荐你可能会喜欢看的图书,淘宝会根据你的购物和浏览记录推荐你可能感兴趣的商品。所有这些推荐结果都来自于各式各样的推荐系统,它们依靠计算机算法运行,根据顾客的浏览、搜索、下单和喜好,为顾客选择他们可能会喜欢、有可能会购买的商品,从而增加潜在的销售。定义 数据挖掘分析是什么?20技术层面:探查和分析大量数据以发现有意义的
7、模式和规则的过程。商业层面:是一种商业信息处理技术,特点是对大量业务数据进行抽取,转换,分析和建模处理,从中提取辅助商业决策的关键性数据。海量数据知识库数据挖掘21电子邮件阶段 从上世纪70年开始,平均的通讯量以每年几倍的速度增长。信息发布阶段 从1995年起,以WEB技术为代表的信息发布系统,爆炸式地成长起来,成为目前Internet的主要应用。电子商务阶段 1997年底召开的APEC会议中提出各国共同促进电子商务发展的议案,引起全球的关注。1998年被称为电子商务年。全程电子商务阶段 随着SaaS(Software as a service)软件服务模式的出现,延长了电子商务链条,形成了当
8、下最新的“全程电子商务”概念模式。数据挖掘分析的发展历史22数据挖掘与分析的重要性:电信:客户流失银行:客户细分;交叉销售百货公司/超市:购物篮分析保险公司:客户细分;流失信用卡:欺诈探测;客户细分税务部门:偷税漏税行为探测医学:医疗保健电子商务:网站日志分析物流行业:货物追踪在银行、保险、电信、零售等行业,激烈的市场竞争环境下,数据挖掘及数据分析的作用尤为重要,并已开始广泛应用。通过挖掘出的数据,对其进行适当的数据模型分析,使公司对客户了解更精细化,从而改善其市场、销售和客户支持运作。典型的商业应用领域包括:市场营销,交叉销售与交叉营销,客户关系管理,个性化推荐与服务,风险分析与控制,欺诈行
9、为检测和异常模式的发现,供应链库存管理,以及人力资源管理等。23 在大型数据库中寻找预测性信息;例如市场预测问题,数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户,其它可预测的问题包括预报破产以及认定对指定事件最可能作出反应的群体。自动预测趋势和行为 数据库中存在的一类重要的可被发现的知识;若两个或多个变量的取值之间存在某种规律性,就称为关联;找出数据库中隐藏的关联网。关联分析 数据库中的记录可被化分为一系列有意义的子集,即聚类。聚类增强了人们对客观现实的认识,是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别方法和数学分类学。聚类 对某类对象的内涵进行描述,并概括这类
10、对象的有关特征。分为特征性描述和区别性描述,前者描述某类对象的共同特征,后者描述不同类对象之间的区别。概念描述 数据库中的数据常有一些异常记录,从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识,如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测数据挖掘与分析的功能24美国梅隆银行(Bank of NewYork Mellon)梅隆银行设定争取20万新户头的目标,为此计划向1000万可能得顾客邮寄邀请函。利用数据挖掘产生了3000个最可能得顾客模式,对这些数据进行进一步分析后再加以精选,产生了更小的数目。而这个更小的数据会产生12%的回报率。结果
11、表明,该银行只需发出200万份邀请函即可获得20万名新用户。u数据挖掘与分析技术瞄准了那些最适合梅隆银行服务项目的顾客,不仅削减成本,还提高了每位新开户顾客的平均利润率,其利润要比通常高3倍。25Pop-Tarts和飓风分析人员发现,每次飓风来临,一种袋装小食品“Pop-Tarts”的销售量都会明显上升。手电筒、电池、水,这些商品的销量会随着飓风的到来而上升,很容易理解,但“Pop-Tarts”的上升是不是必然的呢?研究人员后来发现,这也是一个有用的规律:Pop-Tarts的销量上升,一是因为美国人喜欢甜食,二是因为它在停电时吃起来非常方便。此后,飓风来袭之前,沃尔玛也会提高“Pop-Tart
12、s”的仓储量,以防脱销,并把它和水捆绑起来销售。如果没有进行数据挖掘与分析,“Pop-Tarts”和颶风的微妙关系就难以被发现。数据挖掘与分析方法 目的 流程 方法26第二部分27在处理海量数据时,我们常常遇到类似的苦恼,数据库越来越大,数据爆炸,不能制定合适的决策,那么我们如何更好的利用挖掘出的数据,通过分析获取到有价值的数据成为非常重要的课题。数据挖掘与分析目的:用适当的统计分析方法对收集来的大量资料、数据进行分析,提取有用信息并形成分析结论,把隐没在一大批看似杂乱无章的数据中的信息集中,萃取和提炼出来,以找出所研究对象的内在规律;对数据、资料等加以详细研究和概括总结的过程,帮助人们作出判
13、断,以便采取适当行动。29数据挖掘与分析流程数据是企业核心业务处理的中心内容,决定着企业的未来发展。但是在面对这些海量数据时,需要通过一个系统的流程来处理。成功的数据挖掘是让数据产生商业价值,而不是简单运营特别算法或工具。根据1999年由欧盟机构联合起草的“跨行业数据挖掘过程标准”CRISP-DM,一个数据挖掘项目生命周期可以分为商业理解、数据理解、数据准备、建立模型、模型评估及模型发布6个阶段。30欧盟“跨行业数据挖掘过程标准”数据挖掘的第一个阶段;理解项目的目标和从业务的角度理解需求,并将这个知识转化为数据挖掘的定义和完成目标的初期计划。熟悉数据、发现数据的内部属性,识别潜在的特征,检查数
14、据是否完整、正确,是否存在缺失值等等 将模型输出的结果与现实生活中发生的结果进行对比,从而进一步评估模型准确性。合理性、简单性、稳定性、预测能力为了特定的数据挖掘目的作出假设,运用适当的数据挖掘工具建立模型;利用模型解释特定的现象和预测对象的未来状况。构建模型不是项目的终点。在模型建立并验证之后,还需要一个“部署监控更新”的过程,以使模型的作用最大化。将原始数据处理成最终建模需要的数据。该过程可能多次执行,且非常耗时。商业理解数据理解数据准备建立模型模型评估模型发布31如何构建一个有指导的数据挖掘与分析模型把业务问题转换为数据问题选择合适的数据构建模型评估模型适用性结论32把业务问题转换为数据
15、挖掘问题把广泛的目标具体化,细化,深入观察客户行为可能变成具体的目标;取决于对要解决的业务问题的理解程度。没有正确的理解业务问题就没办法把数据转化为挖掘任务。例如:主动向高风险或高价值的客户提供一个优惠,挽留他们研究渠道方式,以利于那些能带来最忠实客户的渠道如果停止某类产品,列出处于销售风险的产品根据当前市场营销策略,预测未来三年的客户数量数据挖掘分析后,会产生几个不同类型的交付形式。可能是一个报表或充满图标和图形的简报。例如:当我们的目的是提醒销售惊雷时,产生一个营销测试的客户列表是不够的。如何使用结果如何交付结果33选择合适的数据对数据的探索的前期工作判断字段,含义,是否有用,是否缺失,是
16、否有问题等一系列问题认识 数据什么数据可以用多少数据才足够分析需要多久的时间数据必须包含什么构建分析模型数据分析模型(方法论):主要是用来指导分析人员进行一个完整的数据分析,更多是指导数据分析的思路。如:主要从哪几方面开展分析?各方面包含什么内容或者指标之类?常用分析模型水平比较分析趋势分析定标比超九宫图分析法SWOT分析波士顿矩阵竞争态势矩阵竞争者分析竞争者标杆核心竞争力分析差距分析麦肯锡7S框架组织和个性评估组合分析产业/行业分析价值链组合管理和调整战略波特一般竞争战略波特价值链波特产业五种力量分析产品生命周期经验曲线营销技术矩阵比率分析国家风险分析分销战略分析研发、产品和制造分析方向政策
17、矩阵战略设想和联盟分析曲线分析持续增长率分析商业筛选宏观环境分析34数据分析常用表现形式 将实验数据按一定规律用列表方式表达出来是记录和处理实验数据最常用的方法。表格的设计要求对应关系清楚、简单明了、有利于发现相关量之间的物理关系;在标题栏中注明物理量名称、符号、数量级和单位等;根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。列表 作图法可以最醒目地表达物理量间的变化关系;从图线上还可以简便求出需要的某些结果,显示出没有进行观测的对应点或在一定条件下从图线的延伸部分预测范围以外的对应点。可以把某些复杂的函数关系,通过一定的变换用直线图表示出来。作图3536应用案例:啤酒和尿布 沃尔玛的
18、购物篮分析分析啤酒与尿布之间的销售关系啤酒和尿布是顾客群完全不同的商品。沃尔玛通过一年数据挖掘与分析两种产品的情况,结果显示尿布卖得好的店面啤酒也卖得很好。原因很简单,一般太太让先生下楼买尿布的时候,先生们一般都会犒劳自己两听啤酒。因此啤酒和尿布一起购买的机会是最多的。37新加坡樟宜国际机场通过整合各种渠道和后端数据源,为其旅客提供卓越的服务。通过云端大数据,整合了来自各种消费者接触点的信息,将收集到的反馈数据信息分门别类地发送至机场各相关部门进行汇总处理,进一步了解客户消费习惯,便于跨业务部门的沟通和为旅客提供无缝隙服务。业内先进公司的应用案例-新加坡樟宜国际机场提高了客户的满意度和忠诚度;
19、提高行业竞争力并找到新的收入增长源。当数据刚取得时,可能会杂乱无章,看不出规律,但通过有目的性的作图、制表、用各种形式的方程拟合,计算出某些特征量,探索其规律性;往什么方向分析、用何种方式去寻找和揭示隐含在数据中的规律性。1、探索性数据分析 在探索性分析的基础上提出一类或几类可能的模型,然后通过进一步的分析从中挑选一定的分析模型。2、模型选定 通过使用数理统计方法对所定模型或评估的可靠程度及精确程度作出推断3、推断结论对数据进行进一步分析水平比较分析趋势分析定标比超波士顿矩阵38水平比较分析39水平比较法:通过对各类相关数字资料,将两期或多期连续的相同指标或比率进行定基对比和环比对比,得出它们
20、的增减变动方向、数额和幅度,是揭示企业财务状况、经营情况和现金流量变化趋势的一种分析方法。将相同指标或比率进行比较指标比较 会计报表金额并列起来,比较其相同指标增减变动金额和幅度报表比较 比较组成项目占该总体指标的百分比的增减变动,判断变化趋势项目比较比 较 方 式 分 类40指标比较将相同指标或比率进行比较,直接观察其增减变动情况及变动幅度,考察其发展趋势,预测其发展前景。这种方式在统计学上称之为动态分析。即用某一时期的数值作为固定的基期指标数值,将其他的各期数值与其对比来分析。定基动态比率它是以每一分析期的前期数值为基期数值而计算出来的动态比率。环比动态比率指标比较方法41报表比较将连续数
21、期的报表金额并列起来,比较其相同指标的增减变动金额和幅度,据以判断企业财务状况和经营成果发展变化的一种方法。运用该方法进行比较分析时,最好是既计算有关指标增减变动的绝对值,又计算其增减变动的相对值,这样可以有效地避免分析结果的片面性。例如:某企业利润表中反映2010年的净利润为100万元,2011年的净利润为150万元,2012年的净利润为210万元。u 通过绝对值分析:u 通过相对值分析:2011年与2010年相比:净利润增长了150-100=50(万元);2012年与2011年相比:净利润增长了210-150=60(万元);说明2012年的效益增长好于2011年。2011年较2010年同比
22、净利润增长率为:(150-100)/150=33%;2012年较2011年相比净利润增长率为:(210-150)/210=28%。说明2012年的效益增长明显不及2011年。42趋势分析法43趋势分析法:通过对大量数据进行模糊计量,分析预测每个时间段的变化趋势,预测公司未来发展趋势,从中发现相应时间或区间的拐点,是以连续时间序列为支柱的分析方法和预测工具,具有较高的准确率和可操作性。纵向分析横向分析标准分析综合分析作用:u 确定公司财务状况和经营成果的发展趋势对投资者是否有利;u 通过趋势分析可以知道企业经营的变化情况,为预测未来发展方向提供帮助。u 预测法的主要优点是考虑时间序列发展趋势,使
23、预测结果能更好地符合实际。趋势分析方式44趋势预测应用 销售趋势 收益趋势 净资产变动趋势 营运资本变动趋势 财务比率的变动趋势销售趋势 说明企业的经营状况,通过企业之间销售趋势的比较,获得更多的有用信息。在销售趋势出现异常的情况下,要仔细判断形成这种趋势的原因。此外,销售额的增加不一定与销售数量直接相关,要考虑市场价格的影响。收益趋势 对收益趋势要做企业间和行业间的数据比较;收益趋势与销售趋势具有可比性;需要将销售趋势和收益趋势结合分析。例如:如果成本稳定,企业的盈利将与销售额同步增长,但在成本快速增加或者各项费用的增加超出销售额同步增长的时候,销售额的增长并不意味着利润的增加,如果销售量的
展开阅读全文