科学数据网格进展课件.ppt

1、科学数据网格进展中科院计算机网络信息中心周维2005.11 背景介绍 科学数据网格应用服务介绍 863 863支持的支持的“高性能计算机与核心软件高性能计算机与核心软件”重大重大专项的应用网格项目（专项的应用网格项目（2002200220052005）;科学数据网格的建设以中国科学院科学科学数据网格的建设以中国科学院科学数据库数据库;目的目的:是科学数据库数据资源的基础上，通过网格计是科学数据库数据资源的基础上，通过网格计算的相关技术，特别是数据网格技术，促进科学数据算的相关技术，特别是数据网格技术，促进科学数据库中大量分布式异构数据资源的共享，并在此基础上库中大量分布式异构数据资源的共享，并

2、在此基础上开发对科学研究有直接实用意义的应用系统开发对科学研究有直接实用意义的应用系统 科学数据网格项目背景介绍背景介绍(一一)组成：组成：网格信息服务系统网格信息服务系统科学数据网格数据访问服务科学数据网格数据访问服务科学数据网格存储服务科学数据网格存储服务开发的一些实用的工具，如：通用数据管理工具、数据开发的一些实用的工具，如：通用数据管理工具、数据目录管理工具、数据量统计工具、通用元数据管理工具、目录管理工具、数据量统计工具、通用元数据管理工具、访问控制工具等。访问控制工具等。主要研究内容：主要研究内容：构造科学数据网格的系统平台构造科学数据网格的系统平台;开发科学数据网格所必需的中间件

3、软件开发科学数据网格所必需的中间件软件;开发科学数据网格的示范应用系统开发科学数据网格的示范应用系统(包括包括:虚拟天文台虚拟天文台)，并在这些研究工作成果的基础上，提出一种科学研究领并在这些研究工作成果的基础上，提出一种科学研究领域的网格应用框架，争取成为领域内的网格应用标准。域的网格应用框架，争取成为领域内的网格应用标准。科学数据网格项目背景介绍背景介绍(二二)科学数据网格主要软硬件环境科学数据网格主要软硬件环境 硬件硬件超级数据服务器（已安装）海量存储系统（已安装）磁带库系统（正在采购）外联交换机（正在采购）软件软件数据库管理系统（正在采购）并行数据库管理系统（正在采购）数据备份软件（正

4、在采购）超级数据服务器深腾680025959个结点（个结点（4-way 4-way 安腾安腾2 2）；）；20TB20TB盘阵；盘阵；2Gbps2Gbps网络出口网络出口超级数据服务器深腾68001 PCPC机群系统机群系统 IA64IA64结点总数结点总数5959个个 每每CPUCPU内存内存2GB2GB以上以上 每结点局部存储每结点局部存储73GB73GB以上以上 每结点具备千兆以太网端口每结点具备千兆以太网端口 总计算能力达总计算能力达1TFLOPS1TFLOPS 对外网络连接对外网络连接2Gbps2Gbps 支持主流并行数据库支持主流并行数据库 支持支持 Linux Linux 和和

5、Windows Windows 超级数据服务器深腾68003 2个数据库服务结点并行Oracle10G数据库 2个文件/存储服务结点基于GSI的FTP服务器文件I/O结点 22个外部结点（应用服务结点）SQL Server、Mysql数据库等Apache、Tomcat、IIS等GT3运行环境等科学数据网格应用服务介科学数据网格应用服务介绍绍1.1.科学数据网格存储服务科学数据网格存储服务2.2.2.2.科学数据网格信息服务科学数据网格信息服务3.3.3.3.科学数据网格数据访问服务科学数据网格数据访问服务科学数据中心存储软硬件环境6800 NodeSAN存储设备Oracle10G磁带库科学数据

6、中心存储服务文件存储服务数据库服务科学数据网格存储服务部分科学数据网格存储服务部分海量存储系统(一)数据中心的在线存储系统采取基于存储网络（SAN）的磁盘阵列系统。其他节点采取直接连接服务器的磁盘阵列;存储科学数据，为科学数据库提供数据存储空间。海量存储系统(二)Brocade 3900 Fibre Switch SAN结构全光纤磁盘阵列 裸存储容量20TB 持续数据传输率（读/写）不小于2GB/s 支持RAID5 全双工冗余磁带库系统 正在采购正在采购 提供数据备份服务提供数据备份服务（备份在线存储系统数据）完全备份增量备份 性能性能最大存储容量 15TB以上持续数据传输率 150MB/s以

7、上驱动器数目不小于 10个磁带容量不小于 100GB 软件系统 数据库管理系统数据库管理系统SQL Server Enterprise 2000(64 bit)正在采购 并行数据库管理系统并行数据库管理系统Oracle 10g RAC for IA64(8CPU)正在采购 数据备份软件数据备份软件Veritas等正在选型GSI安全框架科学数据中心存储服务架构图存储系统（Storage System）操作系统（OS）其它服务数据库服务上网服务文件服务用户备份文件存储服务(一)为给各建库单位提供安全而有效的数据存储服务，并且提供数据存储管理功能以及配额管理功能。用途存储科学数据 存储资源缺乏的建库

8、单位数据备份 需要大数据量备份 工具SSTools、Ftp文件存储服务(二)数据提供/服务方式远程数据传输 基于基于GSIGSI的的FTPFTP上传机制（上传机制（SSToolsSSTools）本地数据传输 光盘光盘 硬盘硬盘其它远程方式 协作方式协作方式EmailEmailFTPFTP共享目录共享目录 10月初提供服务所有上述各种方式数据库服务(一)为科学数据库（各建库单位）提供安全而有效的数据库服务。用途提供数据存储服务提供数据库服务接口日常备份（磁带库）数据库种类（不断增长）OracleSQL ServerMySQL数据库服务(二)数据提供方式远程数据传输（SSTools）本地数据库导入

9、 光盘 硬盘协作方式 文件存储服务（上载数据）数据中心管理人员导入 数据服务方式提供数据库接口 Oracle 1521端口 MySQL3306端口提供数据库备份接口 10月份提供服务Oracle10GSQL Server科学数据中心文件存储服务(二)数据中心数据中心基于GSI的FTP服务器SAN1122331-1-远程数据传输远程数据传输2-2-协同工作协同工作3-3-本地数据传输本地数据传输用户用户数据中心管理人员数据中心管理人员科学数据网格信息服务科学数据网格信息服务目的目的:实现科学数据网格信息的集中高效管理 提供数据网格资源状态信息 提供数据资源的元数据信息。服务信息注册权限的获取 服

10、务信息注册地址：http:/ 服务信息注册采用密码认证方式 各建库单位的初始密码申请请发签名email至，请未申请证书或对证书的使用不了解的单位与科学数据库CA中心联系 资源（数据、服务）信息的查询 服务信息查询SdgFinder的地址http:/ 特色查询科学数据网格数据访问服务系统（DAS 2.0）数据访问服务 数据访问服务是一个符合OGSA定义的网格服务。访问异构数据库的接口是一致的。用户不需要关心专业子库使用的数据库管理系统、操作系统和平台的技术细节，通过数据访问服务统一的接口就可以访问专业子库，按照用户的要求获取满足条件的数据。DAS介于数据用户和物理数据库系统之间，对物理数据库进行

11、封装后，对外提供数据访问的网格服务接口。支持的关系数据库管理系统的类型包括：Oracle 8、Oracle 9i、SQL Server2000、Mysql 4MySQLSQLServerOracle数据访问服务数据访问服务(DAS)用用 户户用用 户户用用 户户系统结构示意图数据访问服务接口虚拟数据库物理数据库映射工具MappingBuilderDataView数据访问网格服务的使用 通用Web检索前端DataViewDAS网格服务的客户端通过调用网格服务访问数据库资源。建库单位或最终用户，基于DAS网格服务开发应用系统。服务信息的注册物理数据库虚拟数据库数据访问服务接 口MappingBui

12、lderDataView服务注册客户端服 务 请 求 者（用 户）资源信息库信息分发接 口SdgFinder信息查询接口服 务 发 布服 务 发 现服 务 调 用服务注册方DAS服务提供者服 务 调 用最终用户怎么用？1a.查询与查询与相关的相关的数据库的信息数据库的信息1b.返回符合条件的返回符合条件的数据库的数据库的GSH2a.请求元数据服务请求元数据服务2b.返回数据库结构返回数据库结构信息信息3a.用户提交查询请求（用户提交查询请求（sql等）等）3b.数据服务与数据库交互数据服务与数据库交互3c.返回返回XML格式的查询结果给用格式的查询结果给用户户注册服务注册服务SDGFinder

13、元数据服务元数据服务数据服务数据服务用户用户关系数据库关系数据库SOAP/HTTPAPI interactionshttp:/ 能帮建库单位解决什么问题呢？灵活定制检索系统，满足您的需求 访问控制 可设置哪些数据表、哪些字段可以访问 补充和丰富元数据信息，数据规范化 可添加或修改数据库、表、字段的中英文名称和描述信息等 检索系统的需求 可设置检索字段、概要显示字段、详细显示字段 多表结构，可以添加表间约束条件。已成功部署的建库单位已成功部署的建库单位:昆明动物所 广州地化所 不稳定 大气物理所 过程所 高能物理所 东北地理所 上海有机所 广州能源所 南京湖泊所 新疆生地所 动物所 北京地理所 国家天文台 微生物所 正在部署的建库单位正在部署的建库单位:金属所 成都山地所 海洋所 武汉病毒所 长春光机所 寒旱所 http:/http:/谢谢！