数据挖掘在中医药中应用备课讲稿课件.ppt

1、数据挖掘在中医药中应用产生数据挖掘的产生o 什么激发了数据挖掘？“数据爆炸”但“知识贫乏”信息社会迅猛发展sz-数据激增-发现隐藏信息-利用数据-获取知识-为我所用1989年 11届国际人工智能研讨会 首次提出了基于数据挖掘的知识发现 由美国人工智能协会主办的知识发现国际研讨会已经召开了8次，规模由原来的专题讨论会发展到国际学术大会国内：1993年国家自然科学基金首次支持该领域的研究项目。目前，国内的许多科研单位和高等院校竞相开展知识发现的基础理论及其应用研究，2010年国家自然基金资助数据挖掘研究o 66项目数据挖掘项目o 西医：基于多模式序列超声图像识别系统诊断乳腺癌的方法学研究田家玮，哈

2、尔滨医科大学o 中医：o应用数据挖掘技术研究中医药治疗再生障碍性贫血的组方规律向阳，中国人民解放军第210医院 o基于智能计算的中医方剂基础治法模型的构建任廷革，北京中医药大学o基于数据挖掘的针灸法效应特异性基本规律及特点的研究贾春生，河北医科大学o中药新药有效核心处方发现的随机对照忙发设计方法研究何丽云，中国中医科学院中医临床基础医学研究所数据挖掘:Data Mining.数据中发现有效的、新颖的、潜在有用的，并且最终可以被读懂的模式的过程 模式，即pattern。其实就是解决某一类问题的方法论。即把解决某类问题的方法总结归纳到理论高度，那就是模式。例如：比如：孙子说“至死地而后生”是战争模

3、式三十六计“走为上”、“空城计”也是战争模式。数据挖掘和知识发现（KDD KNOWLEDGE DISCOVERY IN DATABASE）l有人认为是一样的只是不同领域称呼不同l数据挖掘是知识发现的过程的一部分数据挖掘与数据分析l数据挖掘是一个动态过程，能够比数据分析更智能地使用数据仓库数据挖掘与统计学l统计学推断是假设驱动的，即形成假设并在数据上验证它。而数据挖掘是发现驱动的，即自动地从数据中提取模式和假定o 数据挖掘的数量常常很巨大 面临的常常是大型数据库，而且常常为其他目的而收集好的数据。o 发现隐含的知识 数据挖掘工作者不愿把先验知识预先嵌入算法，是在没有前提假设的情况下，从事信息的挖

4、掘与知识的提取。o 关联分析o 分类o 聚类分析o 介绍上述功能的一些具体计算方法。关联分析o association analysiso 关联分析是发现关联规则。o 两个或两个以上变量的取值之间存在某种规律性，就称为关联。o 关联分析的挖掘过程就是发现大量数据中项集之间有趣的关联或相关联系。请NCR公司构建数据仓库记录销售数据每一位顾客哪一天在哪一家连锁店购买了哪些商品啤酒与尿布购物篮分析：即分析哪些商品最有希望被顾客一起购买。o 每逢周末与尿布一起购买最多的商品是啤酒！原因：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。o 举例：沃尔玛：通过

5、关联分析这一数据挖掘方法，发现“啤酒”及“尿布”两件物品总是一起被购买。此结果蕴含着巨大的商业价值：如何完成？o 通过支持度和置信度高低来衡量关联的强度。什么是支持度？如何计算？什么是置信度？如何计算？沃尔玛超市为范例o 顾客买东西很多，有很多购买收据记录。收据1：啤酒、面包、方便面、盐、收据2：陈皮、可乐、米、面包、盐收据3：面包、被子、枕头、收据4：椅子、笔记本收据5：可乐、椅子、枕头、面包收据6：面包、笔记本收据1：啤酒、面包、方便面、盐、收据2：陈皮、可乐、米、面包、盐收据3：面包、被子、枕头、收据4：椅子、笔记本收据5：可乐、椅子、枕头、面包收据6：面包、笔记本o 支持度（）计算公式

6、A商品和 B商品共同出现在一个收据次数总次数收据1：啤酒、面包、方便面、盐、收据2：陈皮、可乐、米、面包、盐收据3：面包、被子、枕头、收据4：椅子、笔记本收据5：可乐、椅子、枕头、面包收据6：面包、笔记本o 置信度（confidence：AB）收据1：啤酒、面包、方便面、盐、收据2：陈皮、可乐、米、面包、盐收据3：面包、被子、枕头、收据4：椅子、笔记本收据5：可乐、椅子、枕头、面包收据6：面包、笔记本频繁子集筛选-获得挖掘结果置信度置信度支持度支持度商品1，商品290%80%商品1，商品370%40%商品4，商品580%89%商品6，商品840%50%商品7，商品930%20%.关联分析特点o

7、 可以从大量数据中发现有趣的关联聚类分析o clusteringo 将异质总体分成为同质性的类别o 根据数据自动产生各个类别o 例如：作者群的自动聚类。聚类如何实现：从复杂数据中提取简单的分组结构根据采集的与性别相关特征信息：衣着，头发等自动聚成若干类2022-10-9相似度o 聚类，是把最相似的数据聚结在一起形成类别。o 通常最常用的计算方式就是“欧式距离”欧式距离表示多维空间的几何距离：例如：A人物像人物像B人物像人物像裙子10头发41衣着鲜艳10欧式距离计算裙子x头发x衣着鲜艳zA人物像人物像B人物像人物像裙子10头发41衣着鲜艳10欧式距离欧式距离计算-完成相似度度量o 公式：DIST

8、ANCE(A,B)=3.31 注意的是最相近的值（一样）一定是0A人物像人物像B人物像人物像裙子10头发41衣着鲜艳10计算相似度后如何聚类？2022-10-9计算相似度后如何聚类？（自下而上的层次聚类法）o 有了具体相似度量后，每两个对象之间都形成一个相似度值。4*4的矩阵01011205340先把最相近的聚类到一起变成一簇和其他对象再进行相似度计算在数学上，矩阵是指纵横排列的二维数据表格。matrix两个合并在一起的簇怎么和其他对象比较？3*3的矩阵有很多计算方法：介绍单连接：D（c1，c2）=Mind（o，O）D(，)=Mind（，）,d(,)=20？0？4001011 2 053 40

9、211o 有很多规定定义这种计算。l 单连接取最近值l 完全连接取最远值l。020340o 聚类完成030聚类分析特点o 是物以类聚的一种统计分析方法。用于对事物类别的面貌尚不清楚，甚至在事前连总共有几类都不能确定的情况下进行分类。o 在中医药中应用：一组某病人，利用聚类，聚集成几类，推断出该病常见证型有哪些？分类o Classificationo 即为按照分析对象的属性分门别类加以定义，建立类别。o 例如：银行贷款用户：分为高风险、中风险、低风险三类用户。如有申请贷款者，根据所填写信息，利用数据挖掘方法，划分其是三类用户中那一类。主要介绍关于分类的两种方法o 贝叶斯模型o 决策树贝叶斯模型o

10、 14天打网球情况。o 14天不同天气情况下打网球的情况o 分类目的：根据新的一天天气，决定是否打网球天气天气温度温度湿度湿度有风有风yesNoyesNoyesnoyesno晴23热22高34否 62多云40温暖42正常61是 33雨32凉爽31打网球打网球YESNO95实例：根据以往打网球的情况，看看根据新一天的天气情况，能否打网球？o 目的：o 给出新一天的气候：看看是否打网球？o 贝叶斯模型利用概率的方式计算:就是在天气（晴）=YES,气温（凉爽）=YES,湿度（高）=YES,有风=YES的条件下：打网球是否为YES?天气天气气温气温湿度湿度有风有风晴凉爽高是计算过程转换14天打网球情况

11、为概率表o 14天不同天气情况下打网球的情况 天气天气温度温度湿度湿度有风有风打网球打网球yesNoyesNoyesnoyesnoyesNo晴23热22高34否 6295多云40温暖42正常61是 33雨32凉爽31天气天气温度温度湿度湿度有风有风打网球打网球yesNoyesNoyesnoyesnoyesNo晴2/93/5热2/92/5高3/94/5否 6/92/59/145/14多云4/90温暖4/92/5正常6/91/5是 3/93/5雨3/92/5凉爽3/91/5天气天气温度温度湿度湿度有风有风打网球打网球yesNoyesNoyesnoyesnoyesNo晴2/93/5热2/92/5高3

12、/94/5否 6/92/59/145/14多云4/90温暖4/92/5正常6/91/5是 3/93/5雨3/92/5凉爽3/91/5o YES的概率（红色）=2/9*3/9*3/9*3/9*9/14=0.0053o NO的概率（绿色）=3/5*1/5*4/5*3/5*5/14=0.0206YES+NO=1,经过归一化处理YES=20.5%，NO=79.5%贝叶斯模型特点o 所有条件变量对于分类均是有用的o 先验知识的正确和丰富和后验知识的丰富和正确，能直接影响分类的准确性在中医药医学中范例应用于专家系统诊断。根据症状，推断出诊断。决策树o 决策树(decision tree)每个决策或事件都可

13、能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树o 例：根据表格情况形成分类树性别性别年龄年龄血压血压药物药物1男20正常A2女73正常B3男37高A4男33低B5女48高A药物B血压年龄药物A药物B药物A高正常低4040如何解读决策树信息 如果血压高，则采用药物A 如果血压低，则采用药物B 如果血压正常并且年龄小于等于40，则采用药物A，否则采用药物B.药物B血压年龄药物A药物B药物A高正常低4040产生疑问如何计算p 节点如何划分？为什么先血压，后年龄？p 分裂变量的界限为什么以40岁为界限？药物B血压年龄药物A药物B药物A高正常低4040介绍其中一

14、个ID3算法计算决策树o 14天打网球情况。o 14天不同天气情况下打网球的情况o 分类目的：根据新的一天天气，决定是否打网球天气天气温度温度湿度湿度有风有风yesNoyesNoyesnoyesno晴23热22高34否 62多云40温暖42正常61是 33雨32凉爽31打网球打网球YESNO9514天具体打网球情况：序号序号天气天气气温气温湿度湿度有风有风打网球打网球1晴热高无NO2晴热高有NO3多云热高无YES4雨温暖高无YES5雨凉爽正常无YES6雨凉爽正常有NO7多云凉爽正常有YES8晴温暖高无NO9晴凉爽正常无YES10雨温暖正常无YES11晴温暖正常有YES12多云温暖高有YES13

15、多云热正常无YES14雨温暖高有NO每一个因素形成一个决策树分支天气天气yesNo晴23多云40雨32基于天气划分决策树基于天气划分决策树天气1：NO2：NO8：NO9：YES11：YES3：YES7：YES12:YES13:YES4：YES5：YES6：NO10：YES14：NO晴多云雨其他因素也形成了一个树的分支气温1：NO2：NO8：YES13：YES4：YES8：NO10：YES11：YES12：YES14：NO5：YES6：NO7：YES9：YES热温暖凉爽有风1：YES3：NO4：YES5：YES8：YES9：NO10：YES13：YES2：NO6：NO7：YES11：YES12Y

16、ES14：NOfalsetrue湿度1：NO2：NO3：YES4：YES8：NO12：YES14：NO5：YES6：NO7：YES10：YES11：YES13：YES高正常如何把多个因素合并成一个大的决策树？o 天气、气温、湿度、有风这四个因素谁为起点分支？在何处分支？在何处停止？o 越确定的在分支，越不确定的在主干。否则到了树的支端无法做决定。o 但如何计算它们的确定性和不确定性？药物B血压年龄药物A药物B药物A高正常低4040如何把小的分支合并成一棵大的决策树？o 首先介绍一下信息的一个计算方法：o 信息熵的定义：无序性度量。（不确定性）对值的无序的情况做一个量化的测量。例：信息熵=0 信

17、息熵=0 信息熵最大当都是yes或都是NO时无序性很差，不确定性很弱，信息熵最小0当yes和no一样多时无序性很强，不确定性很强，信息熵最大1：NO2：NO8：NO13：NO1：YES2：YES8：YES13：YES1：NO2：NO8：YES13：YES利用熵的计算方法计算决策树o 越到树的主干，不确定性越大，熵越大，o 越到树的分支，确定性越大，熵越小以便决定YES 或NO熵大熵小确定性越大不确定性越大Yes和no越平均Yes和no越一致信息熵的计算公式o InfoC1，C2=ENTROPY(P1，P2)=-P1*LOG2P1P2*LOG2P2 C1,C2代表发生事件的不同数量 P1=C1/

18、(C1+C2)发生事件的不同概率以YES与NO为例解释：C1，代表发生yes的次数，P1，代表发生YES的概率 C2，代表发生NO的次数，P2，代表发生NO的概率 函数名称，就像SUM一样。InfoC1，C2=ENTROPY(P1，P2)=-P1*LOG2P1P2*LOG2P2C1，代表发生yes的次数，P1，代表发生YES的概率 C2，代表发生NO的次数，P2，代表发生NO的概率例如：在一个节点上yes是2，no是3P1=2/5 P2=3/5Info（2,3)=-2/5*LOG2(2/5)-3/5*LOG2(3/5)=(-0.4)*(-1.32)+(-0.6)*(-0.74)=0.971位天

19、气1：NO2：NO8：NO9：YES11：YES晴比特，又叫Bit，是计量单位以天气为例进行信息熵计算天气天气yesNo晴23多云40雨32合计95Info（晴）=Info（2,3）=0.971位Info(多云)=Info（4,0）=0.0位Info(雨)=Info（3,2）=0.971位还是不能确定谁是主干：观点就是天气、气温、湿度、有风，谁建立了分支之后，信息的不确定性消除得越多，就当做主干。也就是看看以谁当主干，很快就达到了分支，很快信息就变得确定了。计算天气下面建立分支后不确定性o Gain(天气)=info（天气合计）-info（晴，多云，雨）=info（9,5）-info(2,3,

20、4,0,3,2)=info（9,5）-（info(2,3+info(4,0+info(3,2）=0.247天气天气yesNo晴23多云40雨32合计95不确定性消除的值有一个名词表示：信息增益gain平均信息值同理计算出其他三个因素下面建立分支后，信息不确定性消除了多少o Gain(天气)=0.247位o Gain(气温)=0.029位o Gain(湿度)=0.152位o Gain(有风)=0.048位选择不确定性消除最大的作为第一级主分支天气已经作为第一个主干了，那么下面该接着谁作为下一级主干？1：NO2：NO8：NO9：YES11：YES3：YES7：YES12:YES13:YES4：YE

21、S5：YES6：NO10：YES14：NO气温？湿度？有风？直接做决定需要参考其他因素需要参考其他因素14天具体打网球情况：序号序号天气天气气温气温湿度湿度有风有风打网球打网球1晴热高无NO2晴热高有NO3多云热高无YES4雨温暖高无YES5雨凉爽正常无YES6雨凉爽正常有NO7多云凉爽正常有YES8晴温暖高无NO9晴凉爽正常无YES10雨温暖正常无YES11晴温暖正常有YES12多云温暖高有YES13多云热正常无YES14雨温暖高有NO以天气晴下面建立分支为例：以信息完全确定作为分支的结束2022-10-9601：NO2：NO8：NO9：YES11：YES气温1：no2：no8：no9：ye

22、s11:yes热温暖凉爽序号序号天气天气气温气温打网球打网球1晴热NO2晴热NO8晴温暖NO9晴凉爽YES11晴温暖YES以天气晴下面建立分支为例：以信息完全确定作为分支的结束61湿度1:no2:no8:no9:yes11:yes序号序号天气天气湿度湿度打网球打网球1晴高NO2晴高NO8晴高NO9晴正常YES11晴正常YES高正常序号序号天气天气有风有风打网球打网球1晴无NO2晴有NO8晴无NO9晴无YES11晴有YES有风1:no8:no9:yes2:no11:yes无有以天气晴下面建立分支为例：以信息完全确定作为分支的结束2022-10-9631：NO2：NO8：NO9：YES11：YES

23、气温湿度有风1：no2：no8：no9：yes11:yes1:no2:no8:no9:yes11:yes1:no8:no9:yes2:no11:yes1：NO2：NO8：NO9：YES11：YES3：YES7：YES12:YES13:YES4：YES5：YES6：NO10：YES14：NO1：no2：no8：no9：yes11：yes4：yes5：yes10：yes6：no14：no最终的决策树结果人性化决策树的特点o 决策树一般都是自上而下的来生成的。o 可以完成分类任务，而且因为是树状结构，比较容易被使用者理解。第一步骤选择第三步骤挖掘第二步骤处理第四步骤分析数据挖掘步骤目标数据目标数据预

24、处理预处理及变换及变换变换后的数据变换后的数据数据挖掘数据挖掘算法算法解释解释/评估评估67清理筛选清理筛选第一步骤：选择o 收集数据 就是进行原始需要被挖掘的数据采集。例如：做肺癌处方的数据挖掘，要采集肺癌处方的信息，或原有的患者信息中导出，形成数据子集。原始数据的采集非常费时费力，通常在费用中占相当大的比重。可以采用较小规模的数据对问题的可行性进行初步研究。第二步骤：处理o 数据预处理部分，把数据转换成比较容易被数据挖掘的格式及内容。内容处理：年龄 六十岁60 有个还分组：老年、青年、等格式处理：年龄 出生日期1950年转成61。第三步骤：挖掘o 运用工具和算法，进行挖掘，完成分类、关联、

25、聚类、估计、预测等功能，发现数据中的规律。o 例如：关联分析中常用apriori算法，算法就是一种计算方法，例如：计算一个班上有多少人：可以用加法或乘法。加法和乘法就是算法。第四步骤 分析例如：预测信用卡欺诈行为。通过算法分析信用卡用户的购买习惯，根据结果认识客户的模式，并分辨出偏离模式的信息卡盗用行为。概念数据挖掘在中医药领域中应用n中医领域及计算机领域均有深入研究中医症状病机实体识别及其关系挖掘研究绝经综合征中医药临床疗效评价方法的数据挖掘研究中医诊疗中挖掘算法的方法研究基于智能算法的医学数据挖掘特征权重优化方法研究及其应用中医医案数据挖掘技术研究基于数据挖掘技术的证素辨证方法研究中医小儿

26、肺炎疗效评价系统的设计与实现基于数据挖掘对急性冠脉综合征辨证论治规律的探索性研究中医小儿肺炎辩证标准数据挖掘系统中的数据预处理技术基于数据挖掘的周仲瑛教授治疗系统性红斑狼疮病案回顾性研究中医临床诊疗垂直搜索系统研究基于数据挖掘的中医脏腑辨证系统研究中医活血化瘀方数据库及其数据挖掘基于数据挖掘的中医方剂分析技术研究中医妇科常见病医案数据挖掘方法研究基于粒计算与完全图的关联规则算法研究中药归经(肺经)理论和肺系方剂配伍规律的解析及在海洋中药研发中的应用基于聚类和BP网络集成的中医耳穴智能诊断仪研究应用信息技术探索我国高等中医药院校学术及科研发展趋势基于分类关联规则的仲景方挖掘研究田从豁教授治疗痹证

27、、瘾疹、不寐的经验挖掘分析基于贝叶斯网络的中医医案数据挖掘特征选择在中医数据挖掘中的应用研究基于SVM与关联规则中医舌象数据挖掘技术初步研究数据挖掘中分类分析的策略研究及其生物医学应用基于HMM的中医临床疗效评价分析研究数据挖掘在中医若干问题研究中的应用关联规则挖掘在中医辨证诊断中的应用研究数据挖掘模型的创建及其在中医药文献中的应用研究关联规则算法研究及其在中医药数据挖掘中的应用数据挖掘及其在中医药领域中的应用关联分析在中医数据挖掘中的应用研究脾虚证诊断信息数据挖掘的初步探讨恶性肿瘤与脾虚证相关性数据挖掘的初步探讨明清中医疫病发病、症状与用药相关性数据挖掘研究多路异质聚类在中医临床数据中的应用

28、及其研究名老中医经验传承中的数据挖掘技术研究粗糙集合属性约简方法研究与实现面向中医胃病诊疗的数据挖掘技术SVM算法研究及其在中医脏腑辨证中的应用慢性胃炎中医诊疗中的数据挖掘研究DartSpora数据挖掘平台的构建吕仁和教授治疗糖尿病学术思想及其传承方法的研究可扩展智能推理及其在中医舌诊中的应用绝经综合征中医证治规律的数据挖掘模型与系统架构设计收集符合要求的医案把收集的妇科医案数据统一把统一好的数据进行数据挖掘把挖掘结果作一个综合分析崩漏闭经不孕痛经，正异名的处理中药正异名标准表正名是唯一的异名是唯一的紫背金盘草白毛夏枯草翻背白草管仲天水蚁草地膏药毛大丁草根白叶不翻鹿茸草秋牡丹根根委陵菜翻白草白

29、牛胆野丈人胡王使者白头公中华本草中华本草中的正中的正异名循环现象异名循环现象建表方式医案中原文规范后木蔓头木馒头青篙青蒿肉从蓉肉苁蓉桑葚桑椹医案原文中名称规范后名称龙牡龙骨，牡蛎赤白芍赤芍，白芍藿荷梗藿梗，荷梗苍白术苍术，白术编号症状(频次)编号症状(频次)编号症状(频次)编号症状(频次)1纳差10322纳欠343食纳减164食纳甚差12纳呆9323不欲食344饮食差165食少乏味13纳少7724胃纳差345不欲饮食166食欲不旺14食欲不振5125饮食少346谷纳少馨167食欲极差15食少3026纳食不佳347眠食欠佳168食欲较差16不思饮食2127饮食不思348纳呆乏味169胃不思纳17

30、纳减1928少食249纳谷不旺170胃不欲纳18纳谷不馨1929纳食差250纳谷不振171胃呆少纳19纳欠佳1530纳差食少251纳谷欠馨172胃纳不多110纳谷不香1031纳谷欠振252纳减不思173胃纳不香111纳呆食少932纳谷无味253纳食不振174胃纳欠馨112不思食733纳食不馨254纳食偏少175胃纳日减113纳食不香734纳食减少255纳食衰少176饮食不香114食欲减退735纳食无味256纳食亦差177饮食不欲115纳食欠佳636食纳不佳257食不知味178饮食乏味116胃纳欠佳637食纳不香258食谷不馨179饮食欠佳117饮食减少638食纳呆滞259食纳不思180饮食欠馨

31、118食纳欠佳539食欲不佳260食纳大减181饮食无味119食欲差440胃纳不馨261食纳减退182精神食欲不振120食欲欠佳441饮食不佳262食纳较差183谷食大减纳少1WEKAWEKA软件软件 中国中医研究院周雪忠等人开发的中国中医研究院周雪忠等人开发的应用软件，此软件基于新西兰维克多大应用软件，此软件基于新西兰维克多大学研发的智能平台学研发的智能平台WEKAWEKA。高频组与传统理论比对 仙茅、淫羊藿均善壮肾阳、仙茅、淫羊藿均善壮肾阳、强筋骨、祛风湿、平肝阳。强筋骨、祛风湿、平肝阳。仙茅偏于温脾；淫羊藿偏于仙茅偏于温脾；淫羊藿偏于补肾壮阳。二药配伍，相须补肾壮阳。二药配伍，相须为用，

32、补肾壮阳、强筋健骨、为用，补肾壮阳、强筋健骨、祛风除湿功力增强。祛风除湿功力增强。理论理论未查到相关理论未查到相关理论其中其中“白术当归白术当归”对药经对药经常被一起使用，白术补气健常被一起使用，白术补气健脾，当归补血活血，在临床脾，当归补血活血，在临床上常被用于气血两虚的闭经上常被用于气血两虚的闭经病的治疗。病的治疗。新鲜知识分析 高频药对参考药对书籍和中药配伍书籍高频“中药症状”组高频“中药证型”组参考中药功效书籍传统知识未查到的挖掘结果的再利用率验证传统知识：中药高频组的符合率是70%，中药+症状高频组的符合率是39%，中药+证型高频组的符合率是100%数据挖掘体会o 1，尽管似乎完成了整个数据挖掘过程，但每一个环节都其实都很值得深入，都还有很多值得探讨的o 2，数据采集：信息真实性，可靠性，代表性都存疑o 3，数据预处理：规范整齐的数据是最大的问题，目前中医药标准化程度低。o 4，数据挖掘：算法，借用的算法，不一定适合中医。o 5，结果分析：应用谢谢大家!2010-7-2此课件下载可自行编辑修改，仅供参考！此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢感谢您的支持，我们努力做得更好！谢谢