统计分析方法讲座(第一讲)课件.ppt

1、内蒙古财经学院工商管理学院典型统计分析方法及应用典型统计分析方法及应用郭毅2019年10月2内蒙古财经学院工商管理学院目录目录n前言前言n聚类分析聚类分析n判别分析判别分析n遗传算法遗传算法内蒙古财经学院工商管理学院前言 4内蒙古财经学院工商管理学院我国学者、教学科研人员大多重视思辨性思维，空我国学者、教学科研人员大多重视思辨性思维，空泛的议论多，而逻辑推理的思维方式淡化，更不追求泛的议论多，而逻辑推理的思维方式淡化，更不追求严密的公理化体系。严密的公理化体系。定量分析方法能使人们对质的规律性的认识更加深定量分析方法能使人们对质的规律性的认识更加深入全面。入全面。一、为什么我们需要了解统计分析

2、方法？一、为什么我们需要了解统计分析方法？n东西方文化差异东西方文化差异5内蒙古财经学院工商管理学院技术因素（供方）技术因素（供方）n定量分析的推动因素定量分析的推动因素市场因素（需方）市场因素（需方）数据库技术通讯技术网络技术分析技术数据仓库市场全球化组织变迁客户关系管理。一、为什么我们需要了解统计分析方法？一、为什么我们需要了解统计分析方法？数据和信数据和信息以几何息以几何级数增长级数增长6内蒙古财经学院工商管理学院现代统计分析 方法结构简化方法结构简化方法预测据测方法预测据测方法n回归分析 4.定性资料分析n判别分析 5.聚类分析n遗传算法分类分析方法分类分析方法n聚类分析n判别分析n定

3、性资料分析n遗传算法相关分析方法相关分析方法n定性资料分析5.主成分析n回归分析 6.因子分析n典型相关分析7.对应分析n神经网络 回归分析 4.因子分析 聚类分析 5.对应分析 主成分分析二、统计分析方法的分类二、统计分析方法的分类7内蒙古财经学院工商管理学院n统计分析不能替代统计分析不能替代.好的简报好的简报 好的研究方案设计好的研究方案设计好的运作执行和质量控制好的运作执行和质量控制你和你的研究小组清晰的思路你和你的研究小组清晰的思路你更好的理解正常人（非市场研究人员）如何思考和认识你所你更好的理解正常人（非市场研究人员）如何思考和认识你所研究的市场研究的市场但是统计分析是一种非常重要的

4、研究方法，你将回在工作中接但是统计分析是一种非常重要的研究方法，你将回在工作中接触和使用它触和使用它三、统计分析方法的作用域三、统计分析方法的作用域内蒙古财经学院工商管理学院聚类分析 9内蒙古财经学院工商管理学院目录目录n聚类和聚类分析的概念聚类和聚类分析的概念n聚类分析的目的和原理聚类分析的目的和原理n距离和相似系数距离和相似系数n均值聚类和分层聚类均值聚类和分层聚类n聚类分析方法使用注意事项聚类分析方法使用注意事项n聚类分析方法的局限性聚类分析方法的局限性n聚类方法在管理领域的应用聚类方法在管理领域的应用10内蒙古财经学院工商管理学院岗位评估就是确定某岗位对企业或组织战略实现和未来发展相对

5、价岗位评估就是确定某岗位对企业或组织战略实现和未来发展相对价值。只有明确了各个岗位对企业或组织发展的重要程度，才能有针值。只有明确了各个岗位对企业或组织发展的重要程度，才能有针对性的设计薪酬结构和薪酬水平。聚类分析可以确定岗位级别。对性的设计薪酬结构和薪酬水平。聚类分析可以确定岗位级别。企业文化被喻为企业文化被喻为“企业生命常青藤企业生命常青藤”，既具有其独特性，也具有很，既具有其独特性，也具有很强的通用性，处于不同行业，从事不同业务的企业间往往具有相似强的通用性，处于不同行业，从事不同业务的企业间往往具有相似的企业文化要素特征。运用聚类分析方法，根据企业文化的要素特的企业文化要素特征。运用聚

6、类分析方法，根据企业文化的要素特征帮助人们从定量的角度识别企业文化的类别，这有助于具有相似征帮助人们从定量的角度识别企业文化的类别，这有助于具有相似企业文化特征的企业间相互借鉴。企业文化特征的企业间相互借鉴。商业竞争中存在帕累托法则商业竞争中存在帕累托法则 ，即企业，即企业20%20%的客户贡献了的客户贡献了80%80%的利润的利润。通过聚类分析可以将价值客户群分为有价值易流失的客户群、有。通过聚类分析可以将价值客户群分为有价值易流失的客户群、有价值稳定的客户群、低价值不稳定的客户群和低价值稳定的客户群价值稳定的客户群、低价值不稳定的客户群和低价值稳定的客户群，从而针对不同的客户群，采取不同的

7、服务、推销和价格策略来稳，从而针对不同的客户群，采取不同的服务、推销和价格策略来稳定有价值的客户，转化低价值的客户，消除没有价值的客户。定有价值的客户，转化低价值的客户，消除没有价值的客户。一、聚类和聚类分析的概念一、聚类和聚类分析的概念n引例11内蒙古财经学院工商管理学院把研究目标分割成为具有相同属性的小的群体把研究目标分割成为具有相同属性的小的群体Variable BVariable ACorrespondence matrix.一、聚类和聚类分析的概念一、聚类和聚类分析的概念n聚类12内蒙古财经学院工商管理学院n聚类分析对于一个数据，人们既可以对变量（指标）进行分类(相当于对数据中的列分

8、类)，也可以对观测值（事件，样品）来分类（相当于对数据中的行分类）。比如学生成绩数据就可以对学生按照理科或文科成绩（或者综合考虑各科成绩）分类，当然，并不一定事先假定有多少类，完全可以按照数据本身的规律来分类。聚类分析（cluster analysis）分为R型聚类和Q型聚类。对变量的聚类称为R型聚类，而对观测值聚类称为Q型聚类。这两种聚类在数学上是对称的，没有什么不同。聚类分析聚类分析13内蒙古财经学院工商管理学院n聚类分析的目的 根据已知数据，计算各观察个体或变量之间亲疏关系的统计量（距离或相关系数）。根据某种准则（最短距离法、最长距离法、中间距离法、重心法），使同一类内的差别较小，而类与

9、类之间的差别较大，最终将观察个体或变量分为若干类。二、聚类分析目的和原理二、聚类分析目的和原理14内蒙古财经学院工商管理学院我们所研究的样品或指标（变量）之间存在程度不同我们所研究的样品或指标（变量）之间存在程度不同的相似性（亲疏关系）。于是根据一批样品的多个观的相似性（亲疏关系）。于是根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间相似测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。把程度的统计量，以这些统计量为划分类型的依据。把一些相似程度较大的样品（或指标）聚合为一类，把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间

10、相似程度较大的样品（或指标）又另外一些彼此之间相似程度较大的样品（或指标）又聚合为另一类，关系密切的聚合到一个小的分类单位，聚合为另一类，关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到把所有的关系疏远的聚合到一个大的分类单位，直到把所有的样品（或指标）聚合完毕，这就是分类的基本思想。样品（或指标）聚合完毕，这就是分类的基本思想。二、聚类分析的目的和原理二、聚类分析的目的和原理n聚类分析的原理15内蒙古财经学院工商管理学院n如何度量远近？如果想要对100个学生进行分类，如果仅仅知道他们的数学成绩，则只好按照数学成绩来分类；这些成绩在直线上形成100个点。这样就可以把接近

11、的点放到一类。如果还知道他们的物理成绩，这样数学和物理成绩就形成二维平面上的100个点，也可以按照距离远近来分类。三维或者更高维的情况也是类似；只不过三维以上的图形无法直观地画出来而已。在饮料数据中，每种饮料都有四个变量值。这就是四维空间点的问题了。三、距离和相似系数三、距离和相似系数16内蒙古财经学院工商管理学院n两个距离概念按照远近程度来聚类需要明确两个概念：一个是点和点之间的距离，一个是类和类之间的距离。点间距离有很多定义方式。最简单的是歐氏距离，还有其他的距离。当然还有一些和距离相反但起同样作用的概念，比如相似性等，两点越相似度越大，就相当于距离越短。由一个点组成的类是最基本的类；如果

12、每一类都由一个点组成，那么点间的距离就是类间距离。但是如果某一类包含不止一个点，那么就要确定类间距离，类间距离是基于点间距离定义的：比如两类之间最近点之间的距离可以作为这两类之间的距离，也可以用两类中最远点之间的距离作为这两类之间的距离；当然也可以用各类的中心之间的距离来作为类间距离。在计算时，各种点间距离和类间距离的选择是通过统计软件的选项实现的。不同的选择的结果会不同，但一般不会差太多。三、距离和相似系数三、距离和相似系数17内蒙古财经学院工商管理学院n向量x=(x1,xp)与y=(y1,yp)之间的距离2()iiixy欧氏距离欧氏距离:Euclidean平方欧氏距离平方欧氏距离:Squa

13、red Euclidean2()iiixyChebychev:Maxi|xi-yi|Block(绝对距离绝对距离):S Si|xi-yi|Minkowski:1()qqiiixy|1iiiiixypxy兰氏距离兰氏距离:Lance三、距离和相似系数三、距离和相似系数18内蒙古财经学院工商管理学院n向量x=(x1,xp)与y=(y1,yp)之间相似系数夹角余弦夹角余弦(相似系数相似系数1):cosine22(1)cosiiixyxyiiiixyCxy Pearson correlation (相似系数相似系数2):22()()(2)()()iiixyxyiiiixx yyCrxxyy三、距离和相

14、似系数三、距离和相似系数19内蒙古财经学院工商管理学院min(,)pqijDd x x最短距离法最短距离法:最长距离法最长距离法:重心法重心法:离差平方和离差平方和:(Wald)类平均法类平均法:121 21 212()(),()(),()()ipjqkpqipipjqjqx GxGkipqxGGDxxxxDxxxxDxxxxDDDDmax(,)pqijDd x xmin(,)pqpqDd x x1 21(,)ipjqpqijx G xGDd x xnn n类Gp与类Gq之间的距离Dpq三、距离和相似系数三、距离和相似系数20内蒙古财经学院工商管理学院n事先要确定分多少类：k-均值聚类 前面说

15、过，聚类可以走着瞧，不一定事先确定有多少类；但是这里的k-均值聚类（k-means cluster，也叫快速聚类，quick cluster）却要求你先说好要分多少类。看起来有些主观，是吧！假定你说分3类，这个方法还进一步要求你事先确定3个点为“聚类种子”(SPSS软件自动为你选种子)；也就是说，把这3个点作为三类中每一类的基石。然后，根据和这三个点的距离远近，把所有点分成三类。再把这三类的中心（均值）作为新的基石或种子（原来的“种子”就没用了），重新按照距离分类。如此叠代下去，直到达到停止叠代的要求（比如，各类最后变化不大了，或者叠代次数太多了）。显然，前面的聚类种子的选择并不必太认真，它们

16、很可能最后还会分到同一类中呢。下面用饮料例的数据来做k-均值聚类。四、聚类分析方法分类四、聚类分析方法分类21内蒙古财经学院工商管理学院饮料数据四、聚类分析方法分类四、聚类分析方法分类22内蒙古财经学院工商管理学院n假定要把这假定要把这1616种饮料分成种饮料分成3 3类。类。F Fi in na al l C Cl lu us st te er r C Ce en nt te er rs s203.1033.71107.341.654.163.4913.0510.068.763.152.692.94CALORIECAFFEINESODIUMPRICE123ClusterN Nu um mb

17、be er r o of f C Ca as se es s i in n e ea ac ch h C Cl lu us st te er r2.0007.0007.00016.000.000123ClusterValidMissing四、聚类分析方法分类四、聚类分析方法分类23内蒙古财经学院工商管理学院分类结果是：分类结果是：第一类为饮料第一类为饮料1、10；第二类为饮料第二类为饮料2、4、8、11、12、13、14；第三类为剩下的饮料第三类为剩下的饮料3、5、6、7、9、15、16。四、聚类分析方法的分类四、聚类分析方法的分类24内蒙古财经学院工商管理学院n事先不用确定分多少类：分层聚类

18、 另一种聚类称为分层聚类或系统聚类（hierarchical cluster）。开始时，有多少点就是多少类。它第一步先把最近的两类（点）合并成一类，然后再把剩下的最近的两类合并成一类；这样下去，每次都少一类，直到最后只有一大类为止。显然，越是后来合并的类，距离就越远。再对饮料例子来实施分层聚类。四、聚类分析方法的分类四、聚类分析方法的分类25内蒙古财经学院工商管理学院聚类分析聚类分析26内蒙古财经学院工商管理学院n聚类结果主要受所选择的变量影响。如果去掉一些变聚类结果主要受所选择的变量影响。如果去掉一些变量，或者增加一些变量，结果会很不同。量，或者增加一些变量，结果会很不同。n相比之下，聚类方

19、法的选择则不那么重要了。因此，相比之下，聚类方法的选择则不那么重要了。因此，聚类之前一定要目标明确。聚类之前一定要目标明确。n另外就分成多少类来说，也要有道理。虽然从分层聚另外就分成多少类来说，也要有道理。虽然从分层聚类的计算机结果可以得到任何可能数量的类。但是，聚类的计算机结果可以得到任何可能数量的类。但是，聚类的目的是要使各类之间的距离尽可能地远，而类中点类的目的是要使各类之间的距离尽可能地远，而类中点的距离尽可能的近，而且分类结果还要有令人信服的解的距离尽可能的近，而且分类结果还要有令人信服的解释。这一点就不是数学可以解决的了。释。这一点就不是数学可以解决的了。五、聚类分析方法使用时应注

20、意的问题五、聚类分析方法使用时应注意的问题27内蒙古财经学院工商管理学院首先，聚类结果要明确就需分离度很好（well-separated）的数据。几乎所有现存的算法都是从互相区别的不重叠的类数据中产生同样的聚类。但是，如果类是扩散且互相渗透，那么每种算法的的结果将有点不同。每种聚类算法得到各自的最适结果，每个数据部分将产生单一的信息。为解释因不同算法使同样数据产生不同结果，必须注意判断不同的方式。正确解释来自任一算法的聚类内容的实际结果是困难的（特别是边界）。最终，将需要经验可信度通过序列比较来指导聚类解释。其次，由线性相关产生的局限性。上述的所有聚类方法分析的仅是简单的一对一的关系。因为只是

21、成对的线性比较，大大减少发现表达类型关系的计算量，但忽视了生物系统多因素和非线性的特点。六、聚类分析的局限性六、聚类分析的局限性28内蒙古财经学院工商管理学院生产运作管理生产运作管理财务管理财务管理产业结构与产业集群产业结构与产业集群营销、人力资源管理营销、人力资源管理供应链管理供应链管理创新管理、企业文化创新管理、企业文化其他其他%七、聚类分析在管理领域的应用举例七、聚类分析在管理领域的应用举例n聚类分析方法应用分布示意图聚类分析方法应用分布示意图29内蒙古财经学院工商管理学院七、聚类分析在管理领域的应用举例七、聚类分析在管理领域的应用举例序号序号论文题目论文题目1 1对中国制造业运作策略的

22、聚类分析及实证研究对中国制造业运作策略的聚类分析及实证研究2 2供应商库存管理中的聚类分析供应商库存管理中的聚类分析3 3基于模糊聚类分析的城市物流中心选址研究基于模糊聚类分析的城市物流中心选址研究4 4聚类分析方法在行包运输规划中的应用聚类分析方法在行包运输规划中的应用5 5对我国区域金融发展的聚类分析对我国区域金融发展的聚类分析6 6金融企业上市公司绩效的模糊聚类分析金融企业上市公司绩效的模糊聚类分析n聚类分析应用之论文题目清单聚类分析应用之论文题目清单30内蒙古财经学院工商管理学院七、聚类分析在管理领域的应用举例七、聚类分析在管理领域的应用举例序号序号论文题目论文题目7 7聚类分析在投资

23、决策中的应用聚类分析在投资决策中的应用8 8福建省产业结构地区差异聚类分析福建省产业结构地区差异聚类分析9 9基于区位嫡的中国制造业集散聚类分析基于区位嫡的中国制造业集散聚类分析1010基于神经网络的人力资本聚类分析基于神经网络的人力资本聚类分析1111聚类分析法在供应链联盟合作伙伴初选中的应用聚类分析法在供应链联盟合作伙伴初选中的应用1212基于模糊聚类分析的企业文化类型的定量识别基于模糊聚类分析的企业文化类型的定量识别n聚类分析应用之论文题目取样清单聚类分析应用之论文题目取样清单31内蒙古财经学院工商管理学院七、聚类分析在管理领域的应用举例七、聚类分析在管理领域的应用举例n实例分析：实例分

24、析：聚类法在基于产品属性重要度的聚类法在基于产品属性重要度的市场细分中的应用市场细分中的应用32内蒙古财经学院工商管理学院七、聚类分析在管理领域的应用举例七、聚类分析在管理领域的应用举例n实例分析实例分析33内蒙古财经学院工商管理学院七、聚类分析在管理领域的应用举例七、聚类分析在管理领域的应用举例n实例分析实例分析34内蒙古财经学院工商管理学院七、聚类分析在管理领域的应用举例七、聚类分析在管理领域的应用举例n实例分析实例分析35内蒙古财经学院工商管理学院七、聚类分析在管理领域的应用举例七、聚类分析在管理领域的应用举例n实例分析实例分析36内蒙古财经学院工商管理学院七、聚类分析在管理领域的应用举

25、例七、聚类分析在管理领域的应用举例n实例分析实例分析37内蒙古财经学院工商管理学院七、聚类分析在管理领域的应用举例七、聚类分析在管理领域的应用举例n实例分析实例分析 在上图中，纵坐标是阀值在上图中，纵坐标是阀值，横坐标是客户，横坐标是客户编号，可以清楚地看出在不同的阀值编号，可以清楚地看出在不同的阀值下，下，不同用户的聚类情况。例如，在阀值不同用户的聚类情况。例如，在阀值 =0.24=0.24时，时，1313单独为一类，其他客户为一类。在又单独为一类，其他客户为一类。在又=0.16=0.16时，时，1 1，5 5为一类，为一类，1313为一类，其他客户为一类，其他客户为一类。为一类。38内蒙古财经学院工商管理学院结束，谢谢！结束，谢谢！敬请指教敬请指教