大数据的理解与分布式进化计算方法ppt课件.pptx

1、大数据的理解与分布式进化计算方法1主要内容对大数据的理解分布式进化计算大数据是什么？3大数据就是存储量级超TB的数据？具有4V特征的数据就是大数据？大数据就是多种数据的综合体？大数据的主要价值在于体量大？基因“大数据”气象“大数据”金融“大数据”医疗“大数据”由地面和高空观测站不间断传回的数据社交媒体“大数据”电信“大数据”从各种移动终端和通信网络获取的数据社交网站产生的文字、图片、视频等数据由大量标本的基因序列构成的数据库由医疗机构保存的记录和标本构成的数据集由银行等金融机构收集的市场活动数据大数据 海量数据？4大数据是海量数据的另一种说法大数据只是体量比海量数据更大大数据挖掘就是海量数据挖

2、掘大数据的认识5计算机早期近代CPU+存储I/O设备从计算机的发展历程说起大数据的认识6CPU+存储I/O设备云计算平台物联网的广泛应用CPU1CPU2CPU3CPU4超级计算机神经突触计算机芯片计算机今天今天从计算机的发展历程说起大数据的认识7并行计算时代并行计算时代云计算时代云计算时代计算硬件计算硬件资源问题资源问题计算资源的冗余计算资源的冗余与共享问题与共享问题物联网物联网传感网络传感网络各种物品各种物品计算资源互联计算资源互联物物互联物物互联算法互动的科学算法互动的科学算法、人、物互动的科学算法、人、物互动的科学算法的科学算法的科学计算机科学的发展历程大数据的认识8面向科学计算面向智慧

3、社会I/O设备计算模式数据量小类型简单 海量数据类型复杂价值分散大数据 物联网超级计算云计算智能技术大数据是物联网与新型计算模式发展的产物大数据的认识9物联网分布式计算平台大 数 据 传递信息反馈决策物联网大数据分布式计算计算科学的发展趋势（常规数据）10串行软件和算法计算机计算机硬件硬件计算技术计算技术:算法算法/软件软件单核机多核平台分布式算法/软件由于软件和算法发展滞后带来的效率瓶颈由于硬件发展滞后带来的效率瓶颈发展面向大数据的先进计算方法成为实然、应然和必然计算技术的发展趋势(大数据)11数据硬件计算科学结构化、单一结构化、单一的小数据集的小数据集非结构化非结构化、多源异构的多源异构的

4、大数据集大数据集单核单核计算机计算机云平台云平台超算机超算机“真北真北”芯片芯片串行计算方法“分而治之”的分布式计算方法 无需数学模型的智能计算方法传统传统并行机并行机海量海量数据集数据集传统并行计算方法基于数学模型亟待突破的难题：对体量庞大的结构化和半结构化数据进行高效计算(分布式计算技术)对非结构化数据进行计算(智能计算技术)大数据的认识12智慧体的血脉大数据技术智慧体的感官物联网技术智慧体的大脑高性能计算技术建设智慧城市的关键技术大数据层大数据与智慧城市“智慧城市”是全球城市化建设的目标，也是我国跨越式发展的重要途径大数据与海量数据的区别13类型海量数据：数据类型简单，以结构化数据为主大

5、数据：数据类型复杂，半结构化和非结构化数据占主导地位模型海量数据：具有统计规律，能够通过数学模型进行描述大数据：缺少统计规律，难以用数学模型来描述方法海量数据：经过长年探索已经形成一套可行的处理方法大数据：尚且缺少行之有效的处理方法，亟待发展新方法目标海量数据：有明确的挖掘目标，关注解释事物之间的因果关系大数据：没有具体的挖掘目标，关注点从因果关系转向关联关系；其价值在于能够发现超出预想的知识，填补空白。可行的大数据分析方法14海量数据与大数据分析的异同海量数据分析大数据分析有明确的分析目标注重获取因果关系没有具体的分析目标不仅挖掘因果关系，更注重发现关联关系发现未知的知识追求一个精确的结果期

6、望快速找到可接受解如何解决大数据问题？15大数据的特点新方法的可行途径进化计算人工智能领域的计算智能方法将成为解决大数据问题的主要途径群体智能深度学习大数据的特点使传统数据分析方法不再适用基于数学逻辑的人工智能方法难以解决缺乏数学模型的大数据问题解决体量巨大类型复杂缺乏数学模型价值丰富但分布不均具有容错性，以找到可接受解为目标可行的大数据分析方法16整 体 思 路数 据 清 洗问 题 拆 分分布式计算得 出 结 论屏弊大数据中的无用信息，提取有用信息将高维问题拆分为若干低维问题，以便高效计算和处理在分布式计算平台上对拆分后的低维问题进行协同处理运用聚合原理将各个低维问题上的结论组合为总体结论解

7、 组 装未得到满意解得到满意解可行的大数据分析方法17问 题 拆 分 方 法值得研究的拆分方法随 机 拆 分按 任 务 拆 分按 目 标 拆 分.分拆多个单目标问题min g(x,1)子系统1min g(x,N)子系统N目标1(f1)目标2(f2)min g(x,1)min g(x,2)min g(x,3)min g(x,N)复杂多目标问题(1)(2)12(1)(2)min(,)()()where 1iiiiigffxxx可行的大数据分析方法18分布的、自组织的智能计算方法基于云计算平台的分布式进化算法 每个计算结点保存一个染色体 通过通信网络实现染色体的交叉 通过唤醒或删除计算结点来实现种群

8、大小的自适应调整主要内容对大数据的理解分布式进化计算复杂实际问题复杂优化问题缺少缺少数学模型数学模型为什么要使用进化计算？20进化计算数学方法进化计算实际问题非线性优化问题近似模型DifficultModeling数学方法高维度、非线性、耦合、多目标、动态性实际问题简单优化问题线性模型数学方法简化简化Abstract无法克服模型误差，求解效率低、精度差过度简化，难以实际应用分布式进化计算方法21处理器集合1子任务1子任务2子任务N总任务处理器集合2处理器集合N解 组 装交互交互交互交互通讯通讯通讯通讯协同进化技术自适应通讯机制自适应拓扑结构机器学习嵌入机制计算分拆问题分拆问题分拆技术22挑 战

9、例如北京市路网：l 171,504路口（Vertices）l 433，491路径（Edge）大规模！高维！NP难！营运出租车：6.6万辆乘客：日均200万人次应用案例：城市交通调度全局最优化的调度23解决方案基本思路：进化计算+分治进化计算种群：优化任务：子种群1子种群2子种群P子任务1子任务2子任务P种群分割任务解耦分布式计算集群：支撑24解决方案关键技术1：问题解耦技术粗粒度细粒度创新点（传统方法）单次解耦多次、逐层解耦l 逐层降低问题的规模与复杂度（传统方法）均匀解耦基于聚类方法的非均匀解耦技术l 加强子问题内相关性、子问题间独立性25解决方案关键技术2：分布式进化计算技术根节点（全局信息）第一层扩展节点第二层扩展节点创新点分层树形拓扑l 由根节点逐层扩展，节点的子任务异构l 相应地，异构地设置子种群的操作和参数，使得：越接近顶层的子种群越倾向全局探索，越接近底层的子种群越倾向局部寻优反馈型通讯l 自顶向下传递控制信息l 自底向上反馈本地评估信息l 异步通讯解决方案26关键技术3：计算资源的自适应配给总任务子任务1 计算需求C1 存储需求S1子任务2 计算需求C2 存储需求S2子任务3 计算需求C3 存储需求S3子任务N 计算需求CN 存储需求SN优势：平衡子系统进度,提高分布式进化计算的效率动态的任务调度与资源配给方案子任务难度子系统进程