实时数据采集系统设计与实现课件.ppt

1、初步方案TM数据采集组实时数据采集系统设计与实现TM汇 报 人 ： 黄文君导 师 ： 王华忠2012-11-16后续计划系统实现系统设计需求分析目录l 预期：为预期：为EAST的持续放电设计一套基于的持续放电设计一套基于mdsplus的实时的实时数据采集系统数据采集系统（系统要求：实时，高采样率，（系统要求：实时，高采样率，稳定稳定）需求分析l 数据存储形式在聚变领域更国际化，易访问数据存储形式在聚变领域更国际化，易访问Mdsplus：存储数据多样化；多语言访问；存储效率高：存储数据多样化；多语言访问；存储效率高Decompress算法原始dat文件Lzo文件Compress算法l 数据存储访

2、问更实时，高效数据存储访问更实时，高效系统设计客户端EastScopeWebScope数据发布服务器数据发布服务器跨网段：所网，采集网跨网段：所网，采集网RequestNAS数据存储 Request历史炮号历史炮号 Request当前炮号当前炮号数据存储服务器数据发布数据发布模块模块采集存储采集存储模块模块MOVE2000多道信号采集控制台采集控制台TCP/IP传输传输采集存储模块-分时间片机制+双缓冲基本原理：基本原理：将整个长的时间片分成一段段的时间片，以时间片为将整个长的时间片分成一段段的时间片，以时间片为单位，这样就能实时看到某个时间片的数据，无需等到一炮单位，这样就能实时看到某个时间

3、片的数据，无需等到一炮实验结束后，才能看到数据实验结束后，才能看到数据。05s510s9951000sEmpty（05s）（）（1520S)Occupied(5s-10s)(20s-25s)生产者生产者 消费者消费者存储模式修改-双缓冲模式性能分析双缓冲模式：双缓冲模式：分析分析1：当采用双缓冲时，如果消费者速度慢，：当采用双缓冲时，如果消费者速度慢，Occupied数据没拿走，生产者又数据没拿走，生产者又写数据进去了，那数据丢失了。如果多缓冲，那生产者，消费者每次检查缓冲数写数据进去了，那数据丢失了。如果多缓冲，那生产者，消费者每次检查缓冲数据过多，代价更大据过多，代价更大分析分析2：两者都

4、需要时刻主动循环检查缓冲区状况，这样浪费计算机资源，盲目性：两者都需要时刻主动循环检查缓冲区状况，这样浪费计算机资源，盲目性比较大比较大分析1 : (具体分析)以每台服务器承担两台采集机而言： 每个通道大小：250K*5s*2B=2.5MB 服务器承载数据量大小为2.5MB*100（通道数/台）*2台=500MB 以千兆网络端口（传输速度125MB/S）,端口接收时间5s(但网络拥塞处理机制) 但是存储速度,每个通道大概0.04s0.08s（buf(Flag_p+)V(cons_sem)/cons_sem+信号量：信号量： prod_sem=m cons_sem=0Flag_c= 0P(con

5、s_sem)/prod_sembuf(Flag_c+)-存储起来存储起来V(prod_sem)/cons_sem+我不是我不是 龟速！龟速！核心代码：核心代码：封装了三个信号量操作封装了三个信号量操作存储模式修改-生产者/消费者代码存储线程存储线程采集线程采集线程存储函数修改新函数特点：优点： 存储数据的同时，存储了时间。无需像以前需提前存储时间轴 通过DIM_OF命令就能拿到时间，就能拿到缩略数据 代码足够简单，增大了服务端代码的移植性缺点： 速度稍微慢了些（0.5MB，0.026948变到了0.04s），但是由于存储模式的修改，影响不大。只是稍微增大了延时时间。存在的必要性：存在的必要性：

6、类似于类似于google Map（先显示信号整体趋势（先显示信号整体趋势2000个点个点，再细看），再细看）解决方案：解决方案：用空间换时间。用空间换时间。单独存储缩略数据，供用户第一次访问；这样所有用户第一次访问数据单独存储缩略数据，供用户第一次访问；这样所有用户第一次访问数据(A001)时，时，都不需要自己抽取数据，而只需要访问缩略数据都不需要自己抽取数据，而只需要访问缩略数据(A001_s)即可即可和以前不同点：尽量保持写数据进程的通用性，也为了提高写数据进程的速度。和以前不同点：尽量保持写数据进程的通用性，也为了提高写数据进程的速度。 将写缩略数据进程剥离出来，写数据进程每隔将写缩略数

7、据进程剥离出来，写数据进程每隔20s通过消息队列通知写缩略进程。通过消息队列通知写缩略进程。 缩略进程就负责抽取数据；然后写数据进程继续工作，不影响写数据进程速度。缩略进程就负责抽取数据；然后写数据进程继续工作，不影响写数据进程速度。缩略数据修改SetTimeContext（起，终，（起，终，(终终-起）起）/2000）DIM_OFMdsValue(时间时间)MdsValue(数据）数据）Build_signal(数据，时间数据，时间)缩略数据代码细节存储模式修改-细节修改1：多进程调用比多线程调用，并发存储速度要快。所以将原来的多线程：多进程调用比多线程调用，并发存储速度要快。所以将原来的多

8、线程程序改成现在的多进程程序改成现在的多进程2：利用：利用mdsplus的分布式特性，将的分布式特性，将east树的脉冲树的写入，转换成对多树的脉冲树的写入，转换成对多颗子树（颗子树（east_ts1,east_ts2.）的单独写入，减少并发性）的单独写入，减少并发性3：时间片拼接机制：时间片拼接机制由于理论上每片由于理论上每片60MB时时Mdsplus读写性能最好，但是由于采集卡限制，读写性能最好，但是由于采集卡限制，实际中每片数据量实际中每片数据量250K*2s*2B=1MB；将小时间片拼接成一个更大的；将小时间片拼接成一个更大的buf（内存）；时间片选择更加灵活（内存）；时间片选择更加灵

9、活4：为了提高服务器端代码的通用性，在采集端将数据重新组装好，服务：为了提高服务器端代码的通用性，在采集端将数据重新组装好，服务端只需存储数据，无需理解采集端端只需存储数据，无需理解采集端后续计划1：目前，采集存储模块基本搭建完毕。：目前，采集存储模块基本搭建完毕。采集控制台，主控制模块（控制模型树重建采集控制台，主控制模块（控制模型树重建+脉冲树简历），采集机程序，脉冲树简历），采集机程序，服务器程序（主存储程序服务器程序（主存储程序+写缩略数据程序）初步运行正常写缩略数据程序）初步运行正常2：下一步：下一步： 首先对采集存储模块进行压力测试（多台采集机对一台服务器），并首先对采集存储模块进行压力测试（多台采集机对一台服务器），并逐步完善采集存储模块；逐步完善采集存储模块； 然后将数据发布模块与采集存储模块组合起来，进行性能分析；然后将数据发布模块与采集存储模块组合起来，进行性能分析； 再将服务端程序与其它型号采集机进行调试，完善服务端程序。再将服务端程序与其它型号采集机进行调试，完善服务端程序。Thank You !