大数据时代的地震勘探软件平台教学课件.ppt

1、中国石化石油物探技术研究院2016年5月24日12提纲nnnn-Frame平台概况-Frame1.0主要功能-Frame平台技术特色-Frame平台未来发展23-Frame平台概况-Frame地震软件平台由中国石化组织研发，面向大数据时代油气地震勘探技术发展与应用需求的新一代地震数据处理解释软件平台是国际石油工业与地球物理业界第一个基于Hadoop大数据技术体系构建的大型地震勘探软件平台-Frame34-Frame平台概况项目背景海量地震数据管理和超大规模并行计算对油气勘探软件架构提出了新挑战，对地球物理勘探软件平台提出了更新换代的要求。基于强大的需求与信息技术发展带来的机遇，中国石化组织研发

2、了面向未来业务需求的新一代地震数据处理解释软件平台。MEMS检波器单点高密度地震宽方位采集多源地震多分量微地震实时监控高性能计算技术发展：多核CPU、GPU分布式存储大数据技术（Hadoop）45-Frame平台概况研发历程开始地震数据处理（批处理与交互）功能开发完成关键技术验证选型与基础平台关键功能开发开展Hadoop技术验证，完成软件平台架构设计12月正式启动-Frame项目推出-Frame 1.0地震处理系统完成平台测试，完善平台与处理功能2013年2012年2011年2010年2015年2014年5-Frame平台概况-Frame 1.0发布：SEG年会，美国新奥尔良，2015年10月

3、19日667-Frame平台概况-Frame三大组成部分78-Frame 1.0主要功能-Frame1.0地震处理系统的主要功能组成1.简单、便捷的系统主控界面2.高效、易用的海量数据管理3.可视化批处理作业流程管理4.全程实时化的作业监控管理5.面向应用与用户的资源管理与服务6.地震数据浏览与分析7.工区底图与平面属性分析8.三维可视化应用9.速度分析与建模10.地震资料批处理业务功能89-Frame 1.0主要功能简单便捷的系统主控界面p项目管理p用户管理p数据管理p资源管理p模块管理p作业管理p日志管理p交互模块910-Frame 1.0主要功能高效易用的海量数据管理数据导航树与属性数据

4、历史管理1011-Frame 1.0主要功能高效易用的海量数据管理实时交互分析与校验预览于一体的地震数据导入观测系统数据加载1112帮助区流程编辑区-Frame 1.0主要功能可视化批处理作业流程管理：批处理作业流程编辑器模块选择区模块参数编辑区1213-Frame 1.0主要功能可视化批处理作业流程管理：支持多种复杂类型作业流多分支（单进多出）作业流多分支合并作业流多分支混合类型作业流1314-Frame 1.0主要功能全程实时化作业监控管理作业监控与管理作业运行全程实时监控及信息记录1415-Frame 1.0主要功能全程实时化作业监控管理作业运行信息监控与日志1516-Frame 1.0

5、主要功能面向应用与用户的资源管理服务集群与单节点系统资源监控1617-Frame 1.0主要功能面向应用与用户的资源管理服务队列管理存储配额管理1718-Frame 1.0主要功能面向应用与用户的资源管理服务：作业队列与资源调度队列优先级控制与资源抢占和退出1819-Frame 1.0主要功能地震数据浏览与分析1920-Frame 1.0主要功能地震数据浏览与分析视速度分析频谱分析交互地震道编辑初至自动拾取交互初至拾取2021-Frame 1.0主要功能工区底图与平面属性分析工区底图（炮检点分布）平面属性显示（覆盖次数）地震切片显示平面属性显示（检波点高程与静校正量）2122-Frame 1.

6、0主要功能速度分析与建模速度分析沿层速度建模网格速度建模2223-Frame 1.0主要功能速度分析与建模：近地表速度模型反演与编辑近地表速度反演与模型编辑2324-Frame 1.0主要功能三维可视化交互应用三维叠后数据体浏览三维叠前道集数据浏览初至拾取三维显示2425-Frame 1.0主要功能地震资料批处理业务功能-Frame V1.0已支持完整的常规地震数据处理流程，目前已有批处理模块100多个，交互应用模块近30个。新的模块在不断集成和增加中。2526-Frame平台技术特色-Frame定位：大数据时代的新一代地震勘探软件平台四大设计理念面向海量地震数据高效管理：PB级面向超大规模并

7、行计算：超万核级面向地震处理解释一体化面向开放共享与服务关键技术选型基于先进的大数据技术架构Hadoop2627-Frame平台技术特色Hadoop大数据技术体系支撑下的-Frame基础技术架构2728-Frame平台技术特色基于Hadoop/HDFS的海量地震数据高效管理技术海量数据管理能力：100PB级以上数据高吞吐能力、高可扩展性、高容错性、高性价比2829-Frame平台技术特色基于Hadoop/MapReduce的地震数据处理并行计算框架数据剖分Map任务Map任务Map任务Map任务数据规约数据规约数据规约数据合并或清理注册历史数据并行是地震数据处理中最普遍的并行计算模式数据注册多

8、级并行：节点级，Map级，线程级，GPU核级全并行处理系统2930-Frame平台技术特色基于Hadoop/MapReduce的地震数据处理并行计算框架3031-Frame平台技术特色-Frame平台的四大特色规模大：计算机部署规模，数据管理规模，应用支撑规模速度快：分布式输入输出，并行计算，全并行化开放性：开源技术，开放平台，免费在线开发服务智能化：架构层、系统管理层、应用层、界面层3132-Frame平台技术特色特色1：规模大海量地震数据管理支撑：100+PB大规模并行计算资源支撑：1000+节点（数万数十万核）大规模用户、项目、作业支撑：4000+单作业处理数据规模大：18TB数据的分选

9、作业大规模功能扩充支撑3233-Frame平台技术特色特色2：速度快基于分布式文件系统的并行I/O带来的高吞吐能力68个节点、每个节点4块硬盘的测试系统配置，测试获得了35GB/s即约2TB/m的I/O性能，约35GB/s即200+GB/m的地震数据加载性能、常规地震批处理作业吞吐性能。全并行化批处理机制带来的大规模并行计算线性扩展能力融合并行数据I/O和并行计算、数据划分与数据备份、计算任务容错等特性支持作业并行、节点并行、Map级数据并行、多线程并行、GPU异构并行等多级并行模式3334-Frame平台技术特色特色2：速度快高性能的海量地震数据存取访问1500GB/min34数据运行环境使

10、用情况应用场景运行时间输入大小运行速率S1JX3.1TB（40个文件）300节点40个map一次导入48m20s3.1TB65.67 GB/mS1JX3.1TB（40个文件）472节点40个map一次导入31m12s3.1TB101.7 GB/mS1JX3.1TBYBD 2TBJSB 3TB（86个文件）472节点86个map并发导入41m17s8.1TB200.93 GB/m35-Frame平台技术特色特色2：速度快高性能的海量地震数据存取访问：快速数据加载商业软件：300GB数据加载耗时115分钟（2.6GB/m不能一次加载，人工并行）35作业数数据量作业类型运行时间运行效率(GB/m)1

11、4个42TBSORT2h28m23s289.6236-Frame平台技术特色特色2：速度快IO密集型作业：分选作业p商业软件分选作业p数据量：200GBp计算节点：单节点p运行时间：138分钟p效率：1.4GB/minp-Frame分选作业p数据量：3.1TBp计算节点：472个p运行时间：29分04秒p效率：106GB/minp-Frame分选单作业测试最大数据量：18TB66节点：SORT作业-Frame：18TB，9小时商业软件：1TB，55小时3637-Frame平台技术特色特色2：速度快66个节点：3.2TB数据记录长度：8s采用间隔：1ms总道数：100940800运行时间：13m

12、12s245GB/min运行时间：20m54s155GB/min3738-Frame平台技术特色特色2：速度快多种类型的作业运行性能3839-Frame平台技术特色特色2：速度快地震叠前偏移模块的性能优化：KPSTM70.5小时39-Frame平台技术特色特色2：速度快地震叠前偏移模块的资源消耗优化：KPSDM旅行时表缓存机制1.42TB/min2TB/min404041-Frame平台技术特色特色3：智能化架构智能架构层容错性与鲁棒性，支持节点故障、磁盘故障、作业故障自动恢复操作智能上下文敏感的操作帮助；批处理作业参数自动校验，作业流程完整性、合法性自动检查；资源预警与作业错误报警。管理智能

13、资源调度、执行预测、节点动态增删、运行监控等智能化的系统监控及资源调度管理模式，大大提高了平台的易用性、便捷性和资源利用率。业务智能道编辑、初至拾取与分析、速度分析等自动化数据处理与分析技术。4142-Frame平台技术特色特色3：智能化架构智能：架构层容错性与鲁棒性支持节点故障、磁盘故障、作业任务故障的自动发现、迁移与恢复4243-Frame平台技术特色特色3：智能化数据管理的安全性和容错性：支持节点动态增删4344-Frame平台技术特色特色3：智能化数据管理的安全性和容错性：节点故障监测与自动处理发现和恢复时间2分钟以内，与磁盘容量和网络带宽相关44故障节点数作业起始-结束时间节点1故障

14、时间节点2故障时间节点3故障时间节点4故障时间节点5故障时间运行时间(s)119:30:26-19:49:1919:31:53 1133214:50:40-15:10:4614:51:2814:52:28 1206315:42:23-16:04:1015:18:5615:19:3615:50:16 1306416:08:53-16:30:5016:09:4616:10:2216:11:0216:11:42 1316517:10:39-17:32:5317:11:5017:12:1017:12:3017:12:5017:13:10133445-Frame平台技术特色特色3：智能化作业管理的安全性

15、和容错性：节点故障条件下作业的正常运行测试作业：2.1TB（INPUTBPFILTEROUTPUT）45故障节点数作业起始结束时间节点1故障时间节点2故障时间节点3故障时间节点4故障时间节点5故障时间运行时间(s)015:27:0316:02:382135112:36:3613:23:3812:38:002822213:36:3614:24:1413:37:4013:39:152857311:34:2812:24:1811:35:2511:37:1011:38:452990414:29:0215:22:1814:30:1014:31:5414:33:4014:35:333196521:49:4

16、422:42:1821:51:0521:52:5021:54:2521:56:1021:57:50315446-Frame平台技术特色特色3：智能化作业管理的安全性和容错性：节点故障条件下作业的正常运行测试作业：2.1TB（INPUT+KPSTM+OUTPUT）4647-Frame平台技术特色特色3：智能化全生命周期的临时空间管理p 两种管理机制u本地临时空间uHDFS临时空间p 全生命周期管理u申请使用销毁u临时空间的预判机制u自动清除机制u作业崩溃或终止时，自动删除临时数据和输出数据4748-Frame平台技术特色特色4：开放性开源技术的广泛应用Linux操作系统、Qt图形界面开发工具、O

17、penSceneGraph三维可视化开发工具、Hadoop大数据处理技术平台、JSON数据交换格式、Eclipse集成开发环境、Ganglia集群资源监控工具等。保障-Frame平台的长期稳定发展。对外提供功能丰富、开放集成的软件开发包(SDK)和集成开发环境(IDE)，支持大型地震软件的开发和方法技术的软件集成。构建一个基于云服务的地球物理技术研究、软件开发与应用服务平台，提供一站式的开发服务和一体化的应用服务。形成开放的地震专业软件社区，实现集技术交流、成果分享、需求发布和技术交易于一体的用户互动，最终建立基于“共建、共享、共赢”发展理念的石油物探软件生态系统(生态圈)。4849-Fram

18、e平台技术特色-IDE集成应用开发环境 批处理模块代码模板 交互应用开发向导 模块示例工程模块开发向导 参数(JSON)可视化编辑器 参数文件的自动校验批处理模块可视化参数编辑 应用集成帮助手册 应用帮助手册生成工具集成帮助系统 批处理模块编译、自动部署 交互应用本地调试开发辅助功能 代码格式化4950-Frame平台技术特色支撑一站式开发服务的地震集成应用开发环境-SDK-IDE-Tools验证环境5051-Frame平台技术特色-SDK地震软件开发包3000+项API5152支持C、C+、Fortran、CUDA等编程语言-Frame平台技术特色基于Eclipse的-Frame集成开发环境

19、（-IDE）基于Eclipse插件机制的PIIDE Plug-in5253-Frame平台技术特色-IDE集成应用开发环境：批处理模块开发模板5354-Frame平台技术特色-IDE集成应用开发环境：“所见即所得”交互模块开发5455-Frame平台技术特色-IDE集成应用开发环境：-Tools应用程序管理工具5556-Frame平台技术特色-IDE集成应用开发环境：系统升级与模块部署5657-Frame平台技术特色-IDE集成应用开发环境：在线帮助系统5758-Frame平台技术特色基于云计算的软件开发服务：永久免费的一站式开发服务www.piframe.org58-Frame平台技术特色基

20、于云计算的软件开发服务：永久免费的一站式开发服务www.piframe.org59ToolsVerificationSystem整合开发环境SDKIDE优化开发模式降低开发成本互利共赢共建共享共赢便捷任何人任何地方任何时间一站式IDE APIs Tools 应用 社区开放5960-Frame平台未来发展-Frame 1.0总结1、基于大数据技术支撑地震处理解释一体化应用的地震软件平台(1)业界第一个采用Hadoop大数据技术架构的地震软件平台(2)海量数据高效管理能力和I/O吞吐能力远超主流商业软件(3)超大规模并行计算支撑能力适合企业级部署和云计算应用服务(4)层次化平台架构具备完整的系统管

21、理、数据管理、图形交互、作业流引擎、资源管理、作业调度等平台功能组成，并易于扩充6061-Frame平台未来发展-Frame 1.0总结2、面向海量数据和大规模并行计算的地震处理系统(1)业界第一个支持全并行的地震处理软件系统(所有模块计算与IO并行)(2)突破IO瓶颈，地震数据处理效率和规模明显优于主流商业软件(3)在架构、管理、操作和业务层面具有丰富的智能化功能6162-Frame平台未来发展-Frame 1.0总结3、支撑一站式开发服务的地震集成应用开发环境(1)提供了功能丰富、开放集成的软件开发包（-SDK）和集成开发环境（-IDE），支持大型地震软件的开发和方法技术的软件集成(2)提

22、供了批处理模块、交互应用模块或插件软件开发模板与向导(3)提供了模块开发验证工具与环境(4)提供了软件安装部署、升级工具(5)提供了在线一站式开发服务模式62-Frame平台未来发展-Frame 1.0总结定位：大数据时代的新一代地震勘探软件平台在业界首次使用Hadoop大数据技术构建地震软件平台在业界率先形成了支持全并行化的地震处理应用系统提出并开始构建开放共享的地震软件生态系统636364-Frame平台未来发展-Frame地震软件生态系统建设-Frame一站式开发服务系统建设-Frame应用社区建设地震处理解释一体化功能开发自动化处理功能研发智能化解释功能研发叠前反演功能研发6465-F

23、rame平台未来发展从-Frame走向-Cloud6566-Frame平台未来发展-Frame地震勘探专业软件生态系统应用社区一体化应用服务应用服务入口应用服务入口应用服务入口开放开发服务开发环境开发环境一键应用发布/定价开发验证应用按需消费互联网登陆按需定制开发资源大小互联网登陆按需定制应用资源大小应用者信息管理运营者开发/运营利益分成应用集市开发者任何人任何时候任何地方共建共享共赢6667-Frame平台未来发展-Frame地震勘探专业软件生态系统67-Frame平台未来发展-Frame应用社区686869-Frame平台未来发展地震处理解释一体化功能开发自动道编辑自动初至拾取69-Frame大数据时代的地震软件平台岂止于快www.piframe.org大有作为微信公众号7071