医疗大数据及相关技术课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《医疗大数据及相关技术课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 医疗 数据 相关 技术 课件
- 资源描述:
-
1、医疗大数据及相关技术介绍翟运开翟运开 博士博士/ /副教授副教授河南省数字医疗工程技术研究中心河南省数字医疗工程技术研究中心 副副主任主任数字化远程医疗服务河南省工程实验室数字化远程医疗服务河南省工程实验室 副主任副主任郑州大学第一附属医院郑州大学第一附属医院 河南省远程医河南省远程医学中心学中心 主任主任中国卫生信息学会远程医疗信息化专业中国卫生信息学会远程医疗信息化专业委员会委员会 常委常委/ /秘书长秘书长目录大数据简介大数据相关技术大数据挖掘大数据平台摩尔定律,正在走向终结摩尔定律:集成电路芯片上所集成的电路的数目,每隔18个月就翻一番,同时性能也提升一倍单芯片容纳晶体管的增加,对制造
2、工艺提出要求CPU制造18nm技术,电子泄漏问题CPU主频已达3GHz时代,难以继续提高 散热问题(发热太大,且难以驱散) 功耗太高并发计算发展成熟大数据时代正在来临1000+PB24亿网民1天产生的数据63% 63% GAGR非结构化数据增长率数据摩尔定律:Y=C2XX代表时间,Y代表用户的信息分享量,C代表现在时刻的分享信息量3030+ +TBTB交易量3000+万笔/天1PB/S1PB/SCERN:核爆产生数据的速度单位英语标识大小例子位Bit1或0一个二进制数位:0或1字节Byte8Bit一个英文字母:8Bit千字节 KB1024Byte一页纸上的文字:5KB兆字节 MB1024KB一
3、首普通MP3的歌曲:4MB吉字节 GB1024MB一部电影:1GB太字节 TB1024GB美国国会图书馆所有登记印刷版书本的消息:15TB2011年底,其网络备份的数据量为280太字节拍字节 PB1024TB美国邮政局一年处理的信件大约为5拍谷歌每小时处理的数据为1拍1024EB相当与13亿中国人人手一本500页的书加起来数据量的表达单位当前典型大数据的处理量传统数据 vs. 大数据传统数据处理技术面临的挑战l海量数据的高存储成本l数据批量处理性能不足l流式数据处理缺失l有限的扩展能力l单一数据源l数据资产对外增值数据扩展性需求和硬件性能之间存在差距传统框架:小型机磁阵商用数据仓库传统的IOE
4、模式已经不能满足PB级海量数据的存储、分析和应用需求小型机+DWH+SAN成本高企、扩容昂贵无法满足海量数据的离线分析和实时分析无法满足对非结构化数据的快速处理要求Scale-Up已到极限,必须支持Scale-Out大数据处于成长阶段,即将广泛商用大数据是对数据更大的掌控和应用能力大数据是淘炼黄金而不是制造更多的石头“大数据”是数据存储、管理、处理和分析的技术和解决方案“大数据”带来数据分析能力的质变性增强,不仅是传统BI领域 ,也为新商业机会和新商业模式提供了更大的创新空间;“大数据”是“以数据为中心”,这不仅是技术需要,也是管理需要;存储、计算、分析合一的系统成为必然的需求、趋势“大数据”
5、的本质不在于更多(更快)的数据,而在于对数据中蕴含信息价值的巨大掌控和应用能力;使企业更好认识数据中所蕴含的巨大信息价值,影响和改变企业决策依据与过程和生产业务的开展过程 “Big Data is nothing without Big Analysis”大数据要解决的问题Volume海量的数据规模Variety多样的数据类型ValueVelocity快速的数据流转巨大的数据价值目录大数据简介大数据相关技术大数据挖掘大数据平台大数据与云计算、物联网、互联网之间的关系 云计算来源:互联网进化论物联网移动互联网传统互联网产生海量数据大数据是对海量数据的高效处理。云计算是硬件资源的虚拟化,是大数据分
6、析的支撑平台。处理分析需求技术描述Data Warehouse数据仓库ETL, Data Quality信息整合、元数据Text Analytics EngineVisual Data Modeling文本内容分词与分析Hadoop Map Reduce分布式文件系统流计算引擎Streaming Data海量非结构化、结构化数据存储结构化数据处理实时数据处理非结构数据分析各类信息整合数据处理技术的变化:满足数据的多样化大数据技术 成本可承受(economically)的情况下 通过非常快速(velocity)的采集、发现和分析; 在大量化(volumes)、 多类别(variety)的数据中提
7、取价值(value) 分析的数据越全面,分析的结果就越接近于真实 能够从这些数据中获取新的洞察力,并将其与已知业务的各个环节相融合计算存储数据库网络单机单机集群文件存储单机设备间连接设备内连接关系型数据库10GE FC IB分布式数据库非关系型数据库块存储10GE SAS IB横向扩展块级虚拟化横向扩展分布式文件系统大数据带来哪些技术变革-技术驱动大数据的基本技术 分布式文件系统HDFS(hadoop Distributed File System) 并行数据处理MapReduce 非结构化数据表HBase 流式数据处理StreamingMapReduce 分布式数据处理架构分组分组聚合聚合D
8、ATA计算(IOE架构)输入结果输出传统方式X86 服务器X86 服务器HDFS 分布式文件系统架构Hadoop 集群 HBase NoSQL数据库HBase的数据模型分布式的多维映射,以(row, column, timestamp)索引RowsCtimestamps“contents:”“anchor: baidu”“anchor:google”“”t1“”t2“”Column FamilyTableletStreaming:流式数据处理-StormStorm 广泛应用于实时分析,在线机器学习,持续计算等领域。VS大数据 的 预处理技术数据污染数据处理取出有效数据大数据 的 存储技术结构化
9、数据: 传统的关系数据模式 海量数据的查询、统计、更新等操作效率低非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储半结构化数据 转换为结构化存储 按照非结构化存储存储与分析融合,提升处理效率拷贝共享存储分析存储拷贝导入存储数据生产数据共享数据分析数据生产数据共享数据分析一份数据3次存储,浪费空间67%一份数据2次拷贝,浪费时间2倍一份数据1次存储,节省空间67%一份数据0次拷贝,提升效率2倍存储资源池大数据 的 其他技术数据仓库 数据仓库是商务智能的依托,是对海量数据库进行分析的核心物理构架,是一种格式一致的多源数据存储中心。数据源可以来自多个不同的系统,如
展开阅读全文