数据挖掘及其生物学应用课件.ppt

1、数据挖掘及其在生物学中的应用数据挖掘及其在生物学中的应用 100812052 100812052 郭志文郭志文主要内容主要内容 导言 1 概念 2 数据挖掘的步骤 3 数据挖掘的常用方法 4 数据挖掘的十大算法 5 相关数据库资源 6 生物学应用 7 生物学前景 数据库越来越大数据库越来越大有价值的有价值的 知识知识生命科学近年来获得突破性进展，随着基因组研究的进展与现代生物技术的发展，积累了大量的各种生物数据，提供了揭开生命奥秘的数据基础。强有力的数据处理分析工具成为现代生物科学研究发展的关键。我们数据丰富但信息贫乏我们数据丰富但信息贫乏 数据挖掘技术是解决上述问题强有力的工具。数据挖掘是近

2、年来新兴的一种科学计算技术与数据分析方法,它能够有效地从大量数据中提取潜在的信息与知识。各国研究者们也相继提出并验证了多种有效的数据挖掘算法。 数据挖掘在科学发现、商业零售及信用管理等领域得到了越来越广泛的应用。在生物信息领域,计算机工作者与生物学家合作,研究提出了一系列的挖掘算法和挖掘模式,并应用于生物数据, 取得了传统生物计算技术无可比拟的效果。1 1 概概 念念数据挖掘（Data Mining）: 从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程2 2 数数据挖掘的步骤据挖掘的步骤（1）理解数据的生物学意义（

3、2）数据清理消除噪声和不一致数据（3）数据集成将多重数据源组合在一起 （4）数据选择从各类数据库中提取与分析任务相关的数据 （5）数据变换将数据变换或统一成适合挖掘的形式 （6）数据挖掘使用智能方法提取数据模式（7）模式评估根据某种兴趣度量，识别表示知识的真正有趣的模式 （8）知识表示使用可视化和知识表示技术，向用户提供挖掘的信息 3 数数据挖掘的常见方法据挖掘的常见方法 利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。 分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，

4、其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。 回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等 聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。 关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。 特征分析是从数据库中的一组数据中提取出关于这

5、些数据的特征式，这些特征式表达了该数据集的总体特征。 偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结果与参照量之间有意义的差别。 4 数据挖掘十大算法数据挖掘十大算法 1.C4.5：是机器学习算法中的一种分类决策树算法，其核心算法是ID3算法。2. K-means算法：是一种聚类算法。3.SVM：一种监督式学习的方法，广泛运用于统计分类以及回归分析中4.Apriori ：是一种最有影响的挖掘布尔关联规则频繁项集的算法。 5.EM：最大期望值法。 6.pagerank：是google算法的重要内容。 7.Adaboost:是一种迭代算法

6、，其核心思想是针对同一个训练集训练不同的分类器然后把弱分类器集合起来，构成一个更强的最终分类器。8.KNN:是一个理论上比较成熟的的方法，也是最简单的机器学习方法之一。9.Naive Bayes：在众多分类方法中，应用最广泛的有决策树模型和朴素贝叶斯10.Cart：分类与回归树，在分类树下面有两个关键的思想，第一个是关于递归地划分自变量空间的想法，第二个是用验证数据进行减枝。5 相相关数据库资源关数据库资源1.核酸序列及其相关数据库2.蛋白质序列及其相关数据库(蛋白质三维结构、蛋白质组二维凝胶电泳数据库、信号传导及蛋白质-蛋白质相互作用相关数据库、DNA和蛋白质相互作用数据库)3.基因组数据库

7、4.序列分析数据库5.人类基因突变及疾病相关数据库6.进化相关数据库6 生生物学应用物学应用(1) 数据清理, 数据集成, 异种、分布式数据库的语义集成(2) DNA 序列相似搜索和比对(3) 基因组特征及同时出现的基因序列的分析(4) 路径分析: 发现在不同阶段的致病因 (5) 生物数据可视化和可视的数据挖掘 (6) 生物文献的挖掘 (7) 蛋白质结构预测 (8) 基因芯片数据分析 (9) 基于隐私保护的数据挖掘7 生物学前景生物学前景 序列分析、基因表达、同源研究、蛋白质结构预以及药物设计为数据挖掘提供了广阔的研究空间, 也显示了数据挖掘在这些方面的发展潜力。利用数据挖掘技术, 将帮助人们认识生物数据所蕴涵的结构和功能信息, 进而彻底了解生物数据所代表的生物学意义, 帮助人们认识自然界各种生物的遗传信息, 认识病毒和细菌的真正面目, 研制与开发新药物等等。相信在不久的将来, 数据挖掘在生物学领域的应用会取得突破性的进展。谢谢 谢谢 ! !