大数据时代的地震勘探软件平台课件.ppt

1、中国石化石油物探技术研究院2016年5月24日1ppt课件2提纲nnnn-Frame平台概况-Frame1.0主要功能-Frame平台技术特色-Frame平台未来发展2ppt课件3-Frame平台概况-Frame地震软件平台由中国石化组织研发，面向大数据时代油气地震勘探技术发展与应用需求的新一代地震数据处理解释软件平台是国际石油工业与地球物理业界第一个基于Hadoop大数据技术体系构建的大型地震勘探软件平台-Frame3ppt课件4-Frame平台概况项目背景海量地震数据管理和超大规模并行计算对油气勘探软件架构提出了新挑战，对地球物理勘探软件平台提出了更新换代的要求。基于强大的需求与信息技术发

2、展带来的机遇，中国石化组织研发了面向未来业务需求的新一代地震数据处理解释软件平台。MEMS检波器单点高密度地震宽方位采集多源地震多分量微地震实时监控高性能计算技术发展：多核CPU、GPU分布式存储大数据技术（Hadoop）4ppt课件5-Frame平台概况研发历程开始地震数据处理（批处理与交互）功能开发完成关键技术验证选型与基础平台关键功能开发开展Hadoop技术验证，完成软件平台架构设计12月正式启动-Frame项目推出-Frame 1.0地震处理系统完成平台测试，完善平台与处理功能2013年2012年2011年2010年2015年2014年5ppt课件-Frame平台概况-Frame 1.

3、0发布：SEG年会，美国新奥尔良，2015年10月19日66ppt课件7-Frame平台概况-Frame三大组成部分7ppt课件8-Frame 1.0主要功能-Frame1.0地震处理系统的主要功能组成1.简单、便捷的系统主控界面2.高效、易用的海量数据管理3.可视化批处理作业流程管理4.全程实时化的作业监控管理5.面向应用与用户的资源管理与服务6.地震数据浏览与分析7.工区底图与平面属性分析8.三维可视化应用9.速度分析与建模10.地震资料批处理业务功能8ppt课件9-Frame 1.0主要功能简单便捷的系统主控界面p项目管理p用户管理p数据管理p资源管理p模块管理p作业管理p日志管理p交互

4、模块9ppt课件10-Frame 1.0主要功能高效易用的海量数据管理数据导航树与属性数据历史管理10ppt课件11-Frame 1.0主要功能高效易用的海量数据管理实时交互分析与校验预览于一体的地震数据导入观测系统数据加载11ppt课件12帮助区流程编辑区-Frame 1.0主要功能可视化批处理作业流程管理：批处理作业流程编辑器模块选择区模块参数编辑区12ppt课件13-Frame 1.0主要功能可视化批处理作业流程管理：支持多种复杂类型作业流多分支（单进多出）作业流多分支合并作业流多分支混合类型作业流13ppt课件14-Frame 1.0主要功能全程实时化作业监控管理作业监控与管理作业运行

5、全程实时监控及信息记录14ppt课件15-Frame 1.0主要功能全程实时化作业监控管理作业运行信息监控与日志15ppt课件16-Frame 1.0主要功能面向应用与用户的资源管理服务集群与单节点系统资源监控16ppt课件17-Frame 1.0主要功能面向应用与用户的资源管理服务队列管理存储配额管理17ppt课件18-Frame 1.0主要功能面向应用与用户的资源管理服务：作业队列与资源调度队列优先级控制与资源抢占和退出18ppt课件19-Frame 1.0主要功能地震数据浏览与分析19ppt课件20-Frame 1.0主要功能地震数据浏览与分析视速度分析频谱分析交互地震道编辑初至自动拾取

6、交互初至拾取20ppt课件21-Frame 1.0主要功能工区底图与平面属性分析工区底图（炮检点分布）平面属性显示（覆盖次数）地震切片显示平面属性显示（检波点高程与静校正量）21ppt课件22-Frame 1.0主要功能速度分析与建模速度分析沿层速度建模网格速度建模22ppt课件23-Frame 1.0主要功能速度分析与建模：近地表速度模型反演与编辑近地表速度反演与模型编辑23ppt课件24-Frame 1.0主要功能三维可视化交互应用三维叠后数据体浏览三维叠前道集数据浏览初至拾取三维显示24ppt课件25-Frame 1.0主要功能地震资料批处理业务功能-Frame V1.0已支持完整的常规

7、地震数据处理流程，目前已有批处理模块100多个，交互应用模块近30个。新的模块在不断集成和增加中。25ppt课件26-Frame平台技术特色-Frame定位：大数据时代的新一代地震勘探软件平台四大设计理念面向海量地震数据高效管理：PB级面向超大规模并行计算：超万核级面向地震处理解释一体化面向开放共享与服务关键技术选型基于先进的大数据技术架构Hadoop26ppt课件27-Frame平台技术特色Hadoop大数据技术体系支撑下的-Frame基础技术架构27ppt课件28-Frame平台技术特色基于Hadoop/HDFS的海量地震数据高效管理技术海量数据管理能力：100PB级以上数据高吞吐能力、高

8、可扩展性、高容错性、高性价比28ppt课件29-Frame平台技术特色基于Hadoop/MapReduce的地震数据处理并行计算框架数据剖分Map任务Map任务Map任务Map任务数据规约数据规约数据规约数据合并或清理注册历史数据并行是地震数据处理中最普遍的并行计算模式数据注册多级并行：节点级，Map级，线程级，GPU核级全并行处理系统29ppt课件30-Frame平台技术特色基于Hadoop/MapReduce的地震数据处理并行计算框架30ppt课件31-Frame平台技术特色-Frame平台的四大特色规模大：计算机部署规模，数据管理规模，应用支撑规模速度快：分布式输入输出，并行计算，全并行

9、化开放性：开源技术，开放平台，免费在线开发服务智能化：架构层、系统管理层、应用层、界面层31ppt课件32-Frame平台技术特色特色1：规模大海量地震数据管理支撑：100+PB大规模并行计算资源支撑：1000+节点（数万数十万核）大规模用户、项目、作业支撑：4000+单作业处理数据规模大：18TB数据的分选作业大规模功能扩充支撑32ppt课件33-Frame平台技术特色特色2：速度快基于分布式文件系统的并行I/O带来的高吞吐能力68个节点、每个节点4块硬盘的测试系统配置，测试获得了35GB/s即约2TB/m的I/O性能，约35GB/s即200+GB/m的地震数据加载性能、常规地震批处理作业吞

10、吐性能。全并行化批处理机制带来的大规模并行计算线性扩展能力融合并行数据I/O和并行计算、数据划分与数据备份、计算任务容错等特性支持作业并行、节点并行、Map级数据并行、多线程并行、GPU异构并行等多级并行模式33ppt课件34-Frame平台技术特色特色2：速度快高性能的海量地震数据存取访问1500GB/min34ppt课件数据运行环境使用情况应用场景运行时间输入大小运行速率S1JX3.1TB（40个文件）300节点40个map一次导入48m20s3.1TB65.67 GB/mS1JX3.1TB（40个文件）472节点40个map一次导入31m12s3.1TB101.7 GB/mS1JX3.1

11、TBYBD 2TBJSB 3TB（86个文件）472节点86个map并发导入41m17s8.1TB200.93 GB/m35-Frame平台技术特色特色2：速度快高性能的海量地震数据存取访问：快速数据加载商业软件：300GB数据加载耗时115分钟（2.6GB/m不能一次加载，人工并行）35ppt课件作业数数据量作业类型运行时间运行效率(GB/m)14个42TBSORT2h28m23s289.6236-Frame平台技术特色特色2：速度快IO密集型作业：分选作业p商业软件分选作业p数据量：200GBp计算节点：单节点p运行时间：138分钟p效率：1.4GB/minp-Frame分选作业p数据量：

12、3.1TBp计算节点：472个p运行时间：29分04秒p效率：106GB/minp-Frame分选单作业测试最大数据量：18TB66节点：SORT作业-Frame：18TB，9小时商业软件：1TB，55小时36ppt课件37-Frame平台技术特色特色2：速度快66个节点：3.2TB数据记录长度：8s采用间隔：1ms总道数：100940800运行时间：13m12s245GB/min运行时间：20m54s155GB/min37ppt课件38-Frame平台技术特色特色2：速度快多种类型的作业运行性能38ppt课件39-Frame平台技术特色特色2：速度快地震叠前偏移模块的性能优化：KPSTM70

13、.5小时39ppt课件-Frame平台技术特色特色2：速度快地震叠前偏移模块的资源消耗优化：KPSDM旅行时表缓存机制1.42TB/min2TB/min4040ppt课件41-Frame平台技术特色特色3：智能化架构智能架构层容错性与鲁棒性，支持节点故障、磁盘故障、作业故障自动恢复操作智能上下文敏感的操作帮助；批处理作业参数自动校验，作业流程完整性、合法性自动检查；资源预警与作业错误报警。管理智能资源调度、执行预测、节点动态增删、运行监控等智能化的系统监控及资源调度管理模式，大大提高了平台的易用性、便捷性和资源利用率。业务智能道编辑、初至拾取与分析、速度分析等自动化数据处理与分析技术。41pp

14、t课件42-Frame平台技术特色特色3：智能化架构智能：架构层容错性与鲁棒性支持节点故障、磁盘故障、作业任务故障的自动发现、迁移与恢复42ppt课件43-Frame平台技术特色特色3：智能化数据管理的安全性和容错性：支持节点动态增删43ppt课件44-Frame平台技术特色特色3：智能化数据管理的安全性和容错性：节点故障监测与自动处理发现和恢复时间2分钟以内，与磁盘容量和网络带宽相关44ppt课件故障节点数作业起始-结束时间节点1故障时间节点2故障时间节点3故障时间节点4故障时间节点5故障时间运行时间(s)119:30:26-19:49:1919:31:53 1133214:50:40-15

15、:10:4614:51:2814:52:28 1206315:42:23-16:04:1015:18:5615:19:3615:50:16 1306416:08:53-16:30:5016:09:4616:10:2216:11:0216:11:42 1316517:10:39-17:32:5317:11:5017:12:1017:12:3017:12:5017:13:10133445-Frame平台技术特色特色3：智能化作业管理的安全性和容错性：节点故障条件下作业的正常运行测试作业：2.1TB（INPUTBPFILTEROUTPUT）45ppt课件故障节点数作业起始结束时间节点1故障时间节点2

16、故障时间节点3故障时间节点4故障时间节点5故障时间运行时间(s)015:27:0316:02:382135112:36:3613:23:3812:38:002822213:36:3614:24:1413:37:4013:39:152857311:34:2812:24:1811:35:2511:37:1011:38:452990414:29:0215:22:1814:30:1014:31:5414:33:4014:35:333196521:49:4422:42:1821:51:0521:52:5021:54:2521:56:1021:57:50315446-Frame平台技术特色特色3：智能化作

17、业管理的安全性和容错性：节点故障条件下作业的正常运行测试作业：2.1TB（INPUT+KPSTM+OUTPUT）46ppt课件47-Frame平台技术特色特色3：智能化全生命周期的临时空间管理p 两种管理机制u本地临时空间uHDFS临时空间p 全生命周期管理u申请使用销毁u临时空间的预判机制u自动清除机制u作业崩溃或终止时，自动删除临时数据和输出数据47ppt课件48-Frame平台技术特色特色4：开放性开源技术的广泛应用Linux操作系统、Qt图形界面开发工具、OpenSceneGraph三维可视化开发工具、Hadoop大数据处理技术平台、JSON数据交换格式、Eclipse集成开发环境、G

18、anglia集群资源监控工具等。保障-Frame平台的长期稳定发展。对外提供功能丰富、开放集成的软件开发包(SDK)和集成开发环境(IDE)，支持大型地震软件的开发和方法技术的软件集成。构建一个基于云服务的地球物理技术研究、软件开发与应用服务平台，提供一站式的开发服务和一体化的应用服务。形成开放的地震专业软件社区，实现集技术交流、成果分享、需求发布和技术交易于一体的用户互动，最终建立基于“共建、共享、共赢”发展理念的石油物探软件生态系统(生态圈)。48ppt课件49-Frame平台技术特色-IDE集成应用开发环境 批处理模块代码模板 交互应用开发向导 模块示例工程模块开发向导 参数(JSON)

19、可视化编辑器 参数文件的自动校验批处理模块可视化参数编辑 应用集成帮助手册 应用帮助手册生成工具集成帮助系统 批处理模块编译、自动部署 交互应用本地调试开发辅助功能 代码格式化49ppt课件50-Frame平台技术特色支撑一站式开发服务的地震集成应用开发环境-SDK-IDE-Tools验证环境50ppt课件51-Frame平台技术特色-SDK地震软件开发包3000+项API51ppt课件52支持C、C+、Fortran、CUDA等编程语言-Frame平台技术特色基于Eclipse的-Frame集成开发环境（-IDE）基于Eclipse插件机制的PIIDE Plug-in52ppt课件53-Fr

20、ame平台技术特色-IDE集成应用开发环境：批处理模块开发模板53ppt课件54-Frame平台技术特色-IDE集成应用开发环境：“所见即所得”交互模块开发54ppt课件55-Frame平台技术特色-IDE集成应用开发环境：-Tools应用程序管理工具55ppt课件56-Frame平台技术特色-IDE集成应用开发环境：系统升级与模块部署56ppt课件57-Frame平台技术特色-IDE集成应用开发环境：在线帮助系统57ppt课件58-Frame平台技术特色基于云计算的软件开发服务：永久免费的一站式开发服务www.piframe.org58ppt课件-Frame平台技术特色基于云计算的软件开发服

21、务：永久免费的一站式开发服务www.piframe.org59ToolsVerificationSystem整合开发环境SDKIDE优化开发模式降低开发成本互利共赢共建共享共赢便捷任何人任何地方任何时间一站式IDE APIs Tools 应用 社区开放59ppt课件60-Frame平台未来发展-Frame 1.0总结1、基于大数据技术支撑地震处理解释一体化应用的地震软件平台(1)业界第一个采用Hadoop大数据技术架构的地震软件平台(2)海量数据高效管理能力和I/O吞吐能力远超主流商业软件(3)超大规模并行计算支撑能力适合企业级部署和云计算应用服务(4)层次化平台架构具备完整的系统管理、数据管

22、理、图形交互、作业流引擎、资源管理、作业调度等平台功能组成，并易于扩充60ppt课件61-Frame平台未来发展-Frame 1.0总结2、面向海量数据和大规模并行计算的地震处理系统(1)业界第一个支持全并行的地震处理软件系统(所有模块计算与IO并行)(2)突破IO瓶颈，地震数据处理效率和规模明显优于主流商业软件(3)在架构、管理、操作和业务层面具有丰富的智能化功能61ppt课件62-Frame平台未来发展-Frame 1.0总结3、支撑一站式开发服务的地震集成应用开发环境(1)提供了功能丰富、开放集成的软件开发包（-SDK）和集成开发环境（-IDE），支持大型地震软件的开发和方法技术的软件集

23、成(2)提供了批处理模块、交互应用模块或插件软件开发模板与向导(3)提供了模块开发验证工具与环境(4)提供了软件安装部署、升级工具(5)提供了在线一站式开发服务模式62ppt课件-Frame平台未来发展-Frame 1.0总结定位：大数据时代的新一代地震勘探软件平台在业界首次使用Hadoop大数据技术构建地震软件平台在业界率先形成了支持全并行化的地震处理应用系统提出并开始构建开放共享的地震软件生态系统6363ppt课件64-Frame平台未来发展-Frame地震软件生态系统建设-Frame一站式开发服务系统建设-Frame应用社区建设地震处理解释一体化功能开发自动化处理功能研发智能化解释功能研

24、发叠前反演功能研发64ppt课件65-Frame平台未来发展从-Frame走向-Cloud65ppt课件66-Frame平台未来发展-Frame地震勘探专业软件生态系统应用社区一体化应用服务应用服务入口应用服务入口应用服务入口开放开发服务开发环境开发环境一键应用发布/定价开发验证应用按需消费互联网登陆按需定制开发资源大小互联网登陆按需定制应用资源大小应用者信息管理运营者开发/运营利益分成应用集市开发者任何人任何时候任何地方共建共享共赢66ppt课件67-Frame平台未来发展-Frame地震勘探专业软件生态系统67ppt课件-Frame平台未来发展-Frame应用社区6868ppt课件69-Frame平台未来发展地震处理解释一体化功能开发自动道编辑自动初至拾取69ppt课件-Frame大数据时代的地震软件平台岂止于快www.piframe.org大有作为微信公众号70ppt课件71ppt课件