下一代核仪器及设备标准XTCA课件.ppt

1、下一代核仪器及设备标准XTCA进展刘振安中国科学院中国科学院“核探测技术与核电子学核探测技术与核电子学”重点实验室重点实验室中国科学院高能物理研究所触发实验室中国科学院高能物理研究所触发实验室核电子学与探测技术学术年会 2010年8月14日 2010年8月14日1报告概述 标准化在核与高能物理实验中的重要性 核仪器标准的简史 核仪器研制的现状及研究 xTCA for Physics组织架构 新标准协调委员会CCTS 及工作组 新标准制定现状与未来2010年8月14日2仪器标准化在核与高能物理实验中的重要性肉眼观察研究：光源/光线/物体/眼睛宏观研究：宇宙线/探测器微观研究：微观研究：宇宙线宇宙

2、线/放射源放射源加速器加速器/高能粒子高能粒子/靶靶体体/探测器探测器物理学研究的两个前沿2010年8月14日3实验装置的运行需要复杂的控制以北京正负电子对撞机和北京谱仪为例直线加速器直线加速器电子电子 储存环储存环同步辐射同步辐射束束测线测线北京北京谱仪谱仪1984.10-1989。7标准化的加速器控制设备标准的控制机箱标准的控制插件2010年8月14日4实验装置的运行需要复杂的信号处理与控制探测装置微弱电信号前端电子学放大、成形模数转换触发判选DAQ在线处理离线分析数据存储物理过程粒子慢控制 标准化的谱仪控制与数据获取设备标准化的谱仪控制与数据获取设备标准的机箱标准的机箱标准的插件标准的插

3、件2010年8月14日5核仪器标准的简史英国卢瑟福实验室于1960年代开创核电子学的标准欧洲核子研究中心CERN和美国实验室同期开展美国国家标准局和核仪器插件委员会建立了NIM标准70-80年代建立了另2个标准CAMAC，FASTBUS，并被研究领域得到广泛应用核谱测量、粒子物理、医学物理、加速器仪器、加速器控制、航空航天、工业控制等目前这些标准仍在使用，但显局限性目前这些标准仍在使用，但显局限性90年代借用工业标准年代借用工业标准VME（VXI等）等）2000年后年后CPCI现在及将来？现在及将来？1 NIM(60s),CAMAC(70s),FASTBUS(80s)CAMAC process

4、ed as IEEE,ANSI and IEC standards2010年8月14日6核仪器研制的现状及研究标准与技术的演变 标准是有寿命的，但其演化要缓慢温和 物理实验中的标准已经有些过时，但很多系统却仍然在使用 微电子工业的巨大进展需要新的平台来展现他的优点,目前的平台已不适应:高速处理芯片4Gsps 集成电路的功能已经把原来插件完成的功能在一片可变成逻辑器件FPGA中实现 片上处理器提供了可变成控制和并行数据处理能力 通用硬件设计配以不同的固件得以实现多种功能设计 片上串并/并串转换能力3-10Gbps 需要新的标准BESIII通用插件205Gb/秒同步传（BESIII）专用总线201

5、0年8月14日7电信最新标准简介电信领域大多数基于CPCI、VME总线的处理器系统，总线带宽已经成为制约系统处理能力的瓶颈。VME64X的总线带宽为320Mb/s，已经不能满足要求高吞吐量、低延迟的系统。随着对更高系统带宽、总线速度、实时性、系统可靠性、温度范围、散热及更小空间等方面越来越高的要求，迫切需要一种新的运算架构来满足信号处理的需求。PICMG协会成立了一个ATCA委员会，该委员会由代表了工业和电信设备制造商及终端用户的105个公司组成，其目标是建立、修改并计划在2002年底发布新的规范ATCA。经过12个 月的奋战，PICMG3.0规范先进的通讯计算机构架（ATCA）如期发布。后来

6、，低成本、小尺寸的应用，PICMG协会又在ATCA构架的基础上提出了MicroTCA构架，该技术在2006年逐渐成熟，吸引着越来越多人的目光。2010年8月14日8ATCA的系统构成 2010年8月14日9ATCA的系统构成1个典型的ATCA系统包括：12块刀片模块（Blades）、2个交换刀片（Switch Blades）、2个控制刀片（Control Blades）、互连背板（Back Plane）以及电源（Power）、散热等模块。BladesSwitch BladeIPMI Management&PowerControl Blade2010年8月14日10Blades（刀片模块）Bla

7、des是MicroTCA系统的基本组成部分，通过对这些模块的使用能很容易地实现系统扩展、模块化设计，从而方便地实现各种系统功能。典型的Blades有Computing Blades（计算模块）、Network Processor Blades（网络通信模块）、Storage Blades（存储模块）。例如下图是一个Storage Blade。2010年8月14日11ATCA背板（Back plane）ATCA背板的概念是 ATCA规范的基础，它是所有ATCA机箱的构成要素。包括电源输送、模块互连以及IPMI模块等等。ATCA背板能够互连多达12个Blade模块，和2个Switch模块（互为冗余

8、）。2010年8月14日12散热系统 ATCA模块的功率大，其机箱设计具有优良的散热性能，它的散热由位于机箱上方的两片Control Blade控制，如左图所示。2010年8月14日13高速通信 数据在此交换Switch Blade插槽Switch Blade插槽数据在此交换 ATCA设计的重要优势之一就是它出色的通信速率，可以达到数GB量级。PICMG 3.1-3.5标准中定义了5种通信方式：千兆以太网和光纤传输；InfiniBand，StarFabric，PCI-E，RapidIO。2010年8月14日14发展迅速 2002年，发布基本规范；2003年，发布背板连接技术(光纤交换)的扩展；

9、2006年，面市。5年或者更多时间。ATCA的发展历程，3年发布走了大约10年；相同发展道路，对比VME和CompactPCIVMECompactPCI2010年8月14日15核仪器新标准是什么 ATCA 优点 高速IO及互连10Gb/s 高可用性HA 99.999%智能管理 MicroTCA(MTCA)ATCA的优点 半高度 AdvancedMC（AMC）小插板高能物理实验再次借鉴工业标准（电信）？这是一个很好的思路！2010年8月14日16高能所：高性能节点计算机的设计 High Performance Compute Power:5x(Virtex-4 FPGA+2Gb DDR2)32G

10、bps Bandwidth 13x RocketIO to backplane 5x Gigabit Ethernet 8x Optical Link 2 Embedded PowerPC in each FPGA Real time Linux ATCA compliant 完成第二板高能所设计的基于ATCA和FPGA的高性能处理板2010年8月14日17国际上其它实验室的相关研究 德国DESY在 XFEL 1 km 电子直线加速器领先设计(1/20th an ILC)LLRF,连锁保护，束线仪器 ATCA+MicroTCA SLAC 开始用MTCA对3km电子直线加速器进行更新2010年8

11、月14日18欧洲核聚变项目2010年8月14日19国际直线对撞机下一代加速-国际直线对撞机(ILC)要求 高可用率（high availability)高数据产生率（高数据产生率（500Gbps）解决办法解决办法ATCA/MTCA？HA 99.999%波特率 10Gbps 2010年8月14日20谁在用（想用）ATCA？IHEP2010年8月14日21如何衡量一个系统的优劣？2010年8月14日22Why xTCA ATCA 缺点：高8U，不适合控制用 没有后插板 没有定义子板及信号 没有定义后插板（HA）没有控制信号 MTCA缺点：没有后插板 没有定义子板及信号 没有定义后插板（HA）没有控

12、制信号 AMC缺点：互联？控制信号 信号管脚定义 制定新标准：制定新标准：xTCA for Physics高能所计算节点板2010年8月14日23xTCA for Physics 大事 2007年5月 在FNAL第一次ATCA workshop 2007年5月 IEEE RT07 ATCA 专题 2008年初讨论建立新标准的可行性 2008年10月在Dresden第二次ATCA workshop 2008年10月IEEE NSS ATCA 专题 2009年5月高能所第三次 xTCA workshop 2009年5月IEEE RT09 ATCA 专题 2010年5葡萄牙里斯本 第四次 xTCA

13、workshop 2010年5月葡萄牙里斯本 IEEE RT1 xTCA 专题2010年8月14日24xTCA for Physics 协议标准委员会 2009年3月10日在PICMG下成立 xTCA for Physics 协调委员会（CCTS）IHEP,SLAC,FNAL,DESY 发起单位 40多厂商参加 选举产生了事务人员 主席：SLAC Ray Larsen 会议秘书：三环公司Augustus Lowell 文件编辑：高能所刘振安 2010年8月14日251.CCTS的路线图 组织工作组每周开技术讨论电话会 xTCA for physics Extensions to specifi

14、cations 协议文本的起草 Guidelines 设计指引 Open source solutions 开源软件的编制 Building on existing xTCA base under PICMG rules 依照PICMG规则构建xTCA骨架 Spec approval by PICMG membership PICMG成员验收 Collaborating with industry for product development&support 工业界的密切合作2010年8月14日26xTCA标准的工作组及任务 物理需求调研组：物理需求调研组：Physics User Surv

15、ey Task Group 硬件工作组硬件工作组 WG1：Physics xTCA I/O,Timing and Synchronization Working Group 软件工作组软件工作组 WG2：Physics xTCA Software Architectures&Protocols Working Group2010年8月14日27硬件组 WG1 的任务硬件协议范围1.ATCA Rear Transition Module Interface for IO2.ATCA Carrier Boards for AMCs w/Rear IO(2)3.AMC(Advanced Mezzan

16、ine Cards)w/Rear IO(2)4.MTCA(MicroTCA)Chassis w/Rear IO(2)5.ATCA/MTCA Clock&Trigger Distribution(2)2010年8月14日281.ATCA 后插板 3区概念Keying Pins64 codesPower&SystemManagementAlignmentSocketRTM70 mmData Connectors2010年8月14日292a.Carrier w/Stacked AMCs IO Board-to-BoardConnectionZone 3ConnectorZone 3Feed-Thru

17、AMCAMCAMCAMCStacked connectorStandard AMC boardAMC IO boardCourtesy R.Downing,SLAC2010年8月14日302b.Carrier Concept for 1 or 2-Wide AMCIO Zone 3 from/to RTMMechanical KeyStandard Fabric to backplanePowerUp to:10 standard singles4-double high w/IO3 double wide w/IO2010年8月14日313a.Stacked 1-wide AMC w/IOR

18、TMIOFeed-thru AMC ConnectionStandard AMC ConnectorBoard-to-BoardConnectionStacked AMC Board(s)IOStacked boards and connectorIO confined to second boardSuperior analog grounding,shielding,crosstalk isolation Dwg.Courtesy R.Downing,SLAC(From DESY LLRF Design)RTM Option2010年8月14日323b.2-Wide AMC w/IO201

19、0年8月14日334a.1-Wide Stacked AMC in MTCAAMC Panels 2-high(vs.1.5)w/alternate slots dedicated to analog&IOFull size RTM option2010年8月14日344b.2-Wide 12 Payload AMC MTCAClock&Timing ModuleInterlock Output ModuleOptionalRear IO viaRTMsPowerUnit2010年8月14日355a.ATCA中的时钟与触发 背板时钟与触发信号的分配总线方式与星型连接方式 星型缓存器扇出，提供亚

20、皮秒的稳定性，减小热插拔对定时的影响 提供更强的网状连接的可能性 低精度时钟与触发信号需求时提供总线方式，标准的双星型连接区2010年8月14日365b.MTCA中的时钟与触发 与ATCA类似的理念，但较少的可选项 建议利用现存的双星型连接线，避免复杂性 一般稳定性要求与ATCA一致 MCH 管理插件2010年8月14日37软件工作组 WG2 任务 主要目标 跨实验室调研物理实验中高互用、高可用、性能高的软件系统 调研可用于高可勇物理实验系统的现存ATCA开源软件开发 为快同步系统中实时低时滞协议开发通用指引 为减小开发时间，提高互用性，开发并提供模拟数字应用中的通用API 接口2010年8月

21、14日38软件工作组 WG2 任务 互用性互用性 Develop Generic APIs and Protocols for:Management of real-time DAQ&machine control components High rate&low latency transactions Management of resources within xTCA network 可用性可用性 Define mechanisms for management of redundancy,hot swap and auto-failover Develop IPMI architec

22、ture to include LAN access for managing distributed FPGA controls environment 性能性能 Standardize environment,use available standards to save development time Efficient communications from high speed point-to-point to full network levels2010年8月14日39现状小结最优先的项目 1.ATCA RTM 2.2-wide AMC,MTCA Chassis w/RTM

23、3.AMC Single wide 2-stack AMCs on ATCA Carrier4.MTCA 1-wide stacked AMC w/RTM进展正常硬件目标 协议规范文本,原形提交 20102/3 季度协议规范文本,原形通过 20103/4 季度软件开发了支持环境与演示程序建立长期目标与路线图2010年8月14日40第二步任务 设计后插板原形样机:验证协议文本的有效性 检验演示xTCA系统中的原形样机满足使用系统地要求 演示可用性、互用性等特性记忆智能管理插件的性能，使厂家和用户双方受益2010年底提出标准草案2010年8月14日41中国同行的合作、贡献 第一个中国同行参与制订的

24、核仪器标准 xTCA for Physics 不是仅限于核物理/高能物理，也可应用于工业控制，China-PICMG很感兴趣 欢迎中国同行积极参加xTCA协议项目 制定 研究 项目应用2010年8月14日42感谢大家的耐心I.参考资料 http:/www.picmg.org/pdf/PICMG_Physics_Public_Web_Update_061209_R5-3.pdf2010年8月14日43后备片2010年8月14日44Possible ScenariosMTCA with Rear IO Labs place early orders for common spec items to

25、 industries via RFPs(Request for Proposal)if item does not already exist,or RFQ(Request for Quotation)if similar item already is manufactured.Need to develop at least 2-3 industry sources of each basic infrastructure item Shelf with backplane,2-wide with RTM Shelf with power and cooling Shelf with M

26、CH,IPMI,power&cooling2010年8月14日45 Joint Orders Founding Labs collaborate on multiple prototype orders to raise numbers ordered,offset NRE costs(SLAC,DESY,FNAL,IHEP,IPFN)FLs offer prototype order opportunities to new labs not already members BNL,LBNL,LLNL,LASL,Argonne,JLAB,SNS,CERN,Saclay,Rutherford,

27、KEK,+too many light sources to count2010年8月14日46Applications Modules No joint order approach to prototypes is possible on the module&xRTM side until we develop common specifications for generic modules,e.g.Multichannel 16-bit slow and fast ADC-DACs with FPGA processor on board Generic xRTMs with sig

28、nal conditioning suitable for combination of RF,BPM and slow interlock channels Generic clock and trigger solution modules for both ATCA,MTCA Generic 1-wide stack AMC Carrier with ATCA RTM Rear IO2010年8月14日47Systems Demonstrations Assuming successful collaboration on a number of key prototypes,lab-i

29、ndustry should jointly develop systems demos showing interoperability of modules from different vendors Show at workshops,conferences,exhibits Main development issue:Interoperable software interfaces to generic modules designed to common API,HPMI,IPMI specs2010年8月14日48ATCA协议综述ATCA包含一系列规范。核心规范（PICMG

30、3.0）定义了ATCA系统的机构、电源、散热、互联、系统管理等内容。辅助规范则定义了在核心规范中互联的传输方式。PICMG 3.0核心规范PICMG 3.1千兆以太网和光纤传输PICMG 3.2InfiniBand传输PICMG 3.3StarFabric传输PICMG 3.4PCI-E传输PIC3.5RapidIO传输2010年8月14日49实验室在国际新标准实验室在国际新标准xTCA for Physics项目中发挥作用项目中发挥作用 参加2007年5月 在FNAL第一次ATCA workshop 2007年5月 IEEE RT07 ATCA 专题 2008年初讨论建立新标准的可行性 参与

31、组织2008年10月在Dresden第二次ATCA workshop 2008年10月IEEE NSS ATCA 专题 主办2009年5月在高能所的第三次 xTCA workshop 组织2009年5月IEEE RT2009 NSS ATCA 专题 2009年3月10日在PICMG下成立 xTCA for Physics 协调委员会（CCTS）IHEP,SLAC,FNAL,Juelich 发起单位 40多厂商参加 推举产生了事务人员 主席：SLAC Ray Larsen 会议秘书：三环公司Augustus Lowell 文件编辑：高能所刘振安 目前重点实验室成立了项目小组参加 每周技术讨论 硬

32、件技术验证2010年8月14日50软件组 WG2 进展 入门联系软件入门联系软件 Series of tutorials from industry and lab experts ongoing IPMI,HPM1.1,LAN-based IPMI,SRIO&PCIe vs.GbE protocols,OpenSAF etc.物理实验的通用物理实验的通用 APIs Framework proposed for Embedded Machine Control Protocol for physics Includes integration of features found in vari

33、ous standards optimized for physics(e.g.VXI,SCPI,IVI)Includes virtual ADC example of hardware independent specification 总结现有样机系统的经验总结现有样机系统的经验 Study of ongoing systems initiatives at DESY,SLAC,IPFN(JET&ITER)to help frame requirements,provide test beds STATUS:Studies continuing on protocols,architecture,existing tools2010年8月14日51