科学数据网格和虚拟天文台课件.ppt

1、科学数据网格和虚拟天文台进展报告中科院计算机网络信息中心秦欣2004年11月提纲 科学数据网格（SDG）科学数据网格最新进展 虚拟天文台应用的最新进展科学数据网格的背景 科学技术推动人类社会的发展 EScience使得全球性的、跨学科的、大规模科研合作，跨越时间、空间、物理障碍的资源共享与协同工作成为可能四大文明之指南针工业革命的标志蒸气机信息时代之网络科学数据资源的共享 当前数据共享方式的不足（ftp，web）不方便（口令，得到的数据格式/web，异构性）不完整（缺乏如何使用数据的信息，关联信息，等等）不安全（不够安全，难于计费）效率低（不能按用户具体需求提供准确的数据）太原始（原始数据输出

2、，没有增值服务）数据网格技术 统一访问接口 信息服务 安全体系 面向学科领域的增值功能（数据挖掘等）科学数据网格（SDG）以中国科学院科学数据库为主要基础 科学数据库是从1983年开始建设的一个大型综合性数据库群，是目前国内信息量最大、学科专业最广、服务层次最高、综合性最强的科技信息服务系统。通过网格计算的相关技术，特别是数据网格技术，促进大量分布式异构数据资源的共享 开发对科学研究有直接实用意义的应用系统科学数据网格资源建设情况 数据中心 万亿次的计算能力 60TB存储容量 科学数据库 45个建库单位 388专业数据库 13TB数据总量科学数据网格数据服务架构InternetInternet

3、OracleSQLServerFileSystemmySQLDB2FoxproInformation ServiceMember InstitutesMember InstitutesApplication ClientsGrid Level ServicesSDG系统平台软件组成结构图通用元数据通用元数据管理工具管理工具安全体系安全体系通用数据通用数据管理工具管理工具数据目录数据目录管理工具管理工具访问控制访问控制工具包工具包数据访问服务数据访问服务科学数据库科学数据库CA系统系统数据量统计数据量统计分析工具分析工具系统平台中间件系统平台中间件应用服务应用服务与工具集与工具集存储共享存储共享

4、工具工具网格门户网格门户信信 息息 服服 务务存存 储储 服服 务务系统平台软件最新进展 科学数据网格中间件 网格信息服务系统网格信息服务系统 科学数据网格统一访问接口 科学数据网格安全体系 存储服务 科学数据网格应用工具集网格信息服务系统1.0版通用元数据管理工具2.0版及建库单位版数据量统计工具1.1版网站访问量统计分析工具系统平台软件最新进展 科学数据网格中间件 网格信息服务系统 科学数据网格统一访问接口科学数据网格统一访问接口 科学数据网格安全体系 存储服务 科学数据网格应用工具集数据访问服务1.0版通用数据访问工具2.1版系统平台软件最新进展 科学数据网格中间件 网格信息服务系统 科

5、学数据网格统一访问接口 科学数据网格安全体系科学数据网格安全体系 存储服务 科学数据网格应用工具集CA管理系统1.0版资源访问控制工具包1.1版系统平台软件最新进展 科学数据网格中间件 网格信息服务系统 科学数据网格统一访问接口 科学数据网格安全体系 存储服务存储服务 科学数据网格应用工具集存储服务1.0版系统平台软件最新进展 科学数据网格中间件 网格信息服务系统 科学数据网格统一访问接口 科学数据网格安全体系 存储服务 科学数据网格应用工具集科学数据网格应用工具集网格门户 实现证书颁发机构CA（可信第三方）的密钥分配、密钥管理和证书签发、撤销等功能。科学数据网格CA系统 科学数据网格CA系统

6、科学数据网格CA系统用户接口（PUB）部分 科学数据网格CA系统注册中心（RA）部分 数据访问服务系统 数据访问服务的范围 基于内容的数据发现 查询和更新 元数据管理和变更 事务 分布式查询和更新 通知用户用户用户用户用户用户关系关系数据数据库库数据数据访问访问服务服务文件文件系统系统XML数据库数据库接口透明性:一个DAS支持多种数据库类型数据访问服务系统V1.0结构图Search EngineGrid Service InterfaceGetMetadataGetDataMySQLGlobalSchemaLocalSchemaOracleSQL ServerUser Query Appli

7、cationTransforming ProcessorMappingBuilder数据访问服务MappingBuilder的用户界面存储服务系统 前提保证数据安全，数据完整，使用方便 目的有效利用数据中心的海量存储资源 提供一套具有数据传输、存储管理以及配额分配功能的存储共享工具集 三大部分 文件存储服务 数据库服务 上网服务存储服务架构图GSI安全框架用户存储系统（Storage System）操作系统（OS）其它服务数据库服务上网服务文件服务备份科学数据网格和虚拟天文台 科学数据网格的一个重要研究内容是开发示范应用系统虚拟天文台，并提出一种科学研究领域的网格应用框架。虚拟天文台的建设将利

8、用网格技术和科学数据网格中间件所提供的服务，实现国内天文数据的无缝透明融合，并与国际资源进行互联共享。科学数据网格和虚拟天文台 互联网是世界上最好的望远镜 天文数据为网格技术提供了很好的测试平台IRAS 100m mROSAT keVDSS Optical2MASS 2m mIRAS 25m mNVSS 20cmWENSS 92cmGB 6cm计算资源数据资源软件平台SDSS(美国)LAMOST(中国)可视化、数据挖掘传感器、数据源高速网络虚拟天文台最新进展 整理接近200G的天文数据 Hipparcos星表、Tycho2星表和2mass星表导入的数据库系统集成到科学数据网格；GSC_1.2星

9、表检索网格服务 USNO_A2星表检索网格服务 DSS图像检索网格服务示例 银河系铁元素丰度梯度的统计分析 GSC星表译码和查询功能的网格服务 USNO-A2星表查询功能的网格服务银河系铁元素丰度梯度的统计分析 铁元素丰度梯度统计分析是虚拟天文台应用系统中在大量数据资源的基础上开展深层次的分析和处理的一个示例。完整的网格应用系统 注册服务数据服务恒星轨道计算服务可视化服务 银河系铁元素丰度梯度的统计分析 数据服务 网格环境下银河系铁元素丰度梯度统计分析示例的数据源是两个异构的数据库，一个采用Postgres数据库管理系统，存储恒星的化学元素丰度信息，一个采用MySql数据库管理系统，存储恒星在

10、银河系中初始的位置及运动速度。这两个数据库分布在两台计算机上。通过网格数据服务分别对这两个数据库进行封装。银河系铁元素丰度梯度的统计分析 恒星轨道计算服务 利用银河系质量分布模型导出的银河系引力场函数拟合出恒星样本在银河系中的运行轨道，把计算得出的最大银心距（DGmax）、最大银盘径向距（Rmax）、最大银盘法向距（Zmax）作为恒星样本的动力学参数，有利于真实反映银河系演化的过程。银河系铁元素丰度梯度的统计分析HDMaxDGMinDGMaxRMinRMaxZMinZ4009.4177249797.3598533029.4177121177.3598394850.02315704131-0.0

11、2315864969345412.907995198.18064482312.90573158.1757761740.4946127570-0.4945968310683410.631369878.42545572810.629768658.4225754520.3284933682-0.328585023068408.8824347165.6681961428.8812206885.6668634010.2367993813-0.2367939522103078.7584766196.5201872558.7583586896.5200688950.06737815629-0.0673771

12、70941100711.454213008.1414442311.447157448.1235030680.8571721439-0.85711555951159210.106302236.36607075110.104294916.3634338940.341395952-0.341575422119373A10.254617376.65754368110.251764396.6532100300.4364442012-0.4365446729银河系铁元素丰度梯度的统计分析 可视化服务 为了进行丰度梯度分析，对试验的样本进行线性拟合，采用Linear Regression算法拟合样本数据银河

13、系铁元素丰度梯度统计分析的可视化结果 GSC星表译码和查询功能的网格服务 GSC（Guide Star Catalog）导星目录为望远镜的观测提供引导星体的信息，也是其他星表的索引。封装GSC星表译码译码和查询查询功能的网格服务，为其他的天文运用提供支持，也是虚拟天文台实现的基础 GSC星表译码和查询功能的网格服务 提供提供DecodeService和和GSCService服务接服务接口口 命令行 Web方式 DecodeService DecodePortTypeDecodeServiceGridLocatorDecodeServiceLocatorDecodeServiceSoapBind

14、ingStub GSCServiceGSCPortTypeGSCServiceGridLocatorGSCServiceLocatorGSCServiceSoapBindingStub GSC星表译码和查询功能的网格服务 提供DecodeService和GSCService服务接口 命令行命令行 Web方式 GSC星表译码和查询功能的网格服务 提供DecodeService和GSCService服务接口 命令行 Web方式 JNI动态链接库动态链接库WEB服务器服务器最终用户最终用户GT3服务器服务器请求服务请求服务请求服务请求服务译码服务译码服务查询服务查询服务GSC星表译码和查询功能的网格服务用户界面USNO-A2星表查询功能的网格服务 USNO-A2星表是由位于美国海军天文台的一台名为PMM的观测设备采集的天文数据的一部分。将这些数据资源以网格服务的使用方式提供给更多的人使用具有很重要的意义。USNO-A2星表检索网格服务的用户界面 DEMO!谢谢!