中南大学电信专业专业专题研究方向介绍课件.ppt

1、2013年9月电子信息处理技术的研究陈明义中南大学信息科学与工程学院中南大学信息科学与工程学院电电 子子 信信 息息 工工 程程 系系研究方向一：语音信号处理的研究研究方向一：语音信号处理的研究研究方向二：研究方向二：视音频视音频信号处理的研究信号处理的研究研究方向三：研究方向三：电路综合设计技术的研究电路综合设计技术的研究研究方向研究方向研究方向一：研究方向一：语音信号处理的研究语音信号处理的研究语音信号处理语音信号处理语音评估语音评估语音识别语音识别语音编码语音编码语音合成语音合成语音通信平台语音通信平台语音增强语音增强1、变阶线性预测编解码模型的研究、变阶线性预测编解码模型的研究一、语音

2、编码理论的研究一、语音编码理论的研究冲激串发生器冲激串发生器白噪声发生器白噪声发生器变阶自适应线变阶自适应线性预测滤波器性预测滤波器H（z）声道参数声道参数数字样本数字样本语音语音S(n)G清音清音浊音浊音2、CA-CELP语音编码器的语音编码器的研究研究 它将信道最优矢量量化技术它将信道最优矢量量化技术(COVQ)与与LBG算法相结合，针算法相结合，针对不同的信道噪声训练出与该信道状态相匹配的码书，使编码器对不同的信道噪声训练出与该信道状态相匹配的码书，使编码器对于信道噪声有较强的顽健性。对于信道噪声有较强的顽健性。3、SC-VR-CELP语音编解器语音编解器研究研究研究涉及语音激活检测技术

3、、语音帧分类、速率判决、研究涉及语音激活检测技术、语音帧分类、速率判决、线性预测、矢量量化、自适应码本搜索和固定码本搜线性预测、矢量量化、自适应码本搜索和固定码本搜索等关键技术。索等关键技术。1 1、特定说话人识别、特定说话人识别二、语音识别技术及其方法研究二、语音识别技术及其方法研究识别结果识别结果测试测试训练训练输入输入语音语音预处理预处理特征提取特征提取距离匹配距离匹配判决判决阈值阈值用户特征用户特征空间空间Code，提出了基于提出了基于VQ的说话人确认阈值的设计方法的说话人确认阈值的设计方法 2 2、孤立词语音识别技术的研究孤立词语音识别技术的研究包括前端预处理技术：带噪声的端点检测算

4、法和包括前端预处理技术：带噪声的端点检测算法和MEL频率倒谱系数特征频率倒谱系数特征参数提取算法，提出了整体路径约束参数提取算法，提出了整体路径约束(DTW)算法算法(ADTW)，其能有效的，其能有效的提高识别率并有极好的鲁棒性提高识别率并有极好的鲁棒性。识别结果识别结果训练训练识别识别输入输入语音语音预处理预处理特征提取特征提取模板库模板库专家知识专家知识测度识别测度识别 测度识别测度识别 参考模板参考模板n波形合成法波形合成法n参数合成法参数合成法n规则合成法规则合成法三、语音合成技术研究三、语音合成技术研究n语音情感分析语音情感分析n语音情感合成语音情感合成n语音情感识别语音情感识别n语

5、音情感分离语音情感分离四、情感语音技术的研究四、情感语音技术的研究n主观评估：主观评估：MOSMOS分，时域，频域，语谱图分，时域，频域，语谱图n客观评估：客观评估：MNB2MNB2，E-MODLE-MODL，PESQPESQ五、语音质量评估方法研究五、语音质量评估方法研究研究方向二研究方向二:视音频视音频信号处理技术的研究信号处理技术的研究视音频信号处理视音频信号处理数字音频嵌数字音频嵌入与解嵌入与解嵌视频信号数字化视频信号数字化音频信号数字化音频信号数字化数字音频自数字音频自动增益控制动增益控制视音频信号的视音频信号的压缩与传输压缩与传输数字台标、字幕数字台标、字幕n对视音频对视音频A/D

6、、D/A转换技术的研究，转换技术的研究，成功地开发了模拟视频数字化系统，设成功地开发了模拟视频数字化系统，设计了一套用于实现演播室中数字视频信计了一套用于实现演播室中数字视频信号转换为模拟视频信号的系统。号转换为模拟视频信号的系统。n设计了一种利用设计了一种利用FPGA接口接口 SDRAM视视频存储方案。完成带频存储方案。完成带帧同步帧同步的数字视频的数字视频系统的开发。系统的开发。一、一、视音频视音频A/DA/D、D/AD/A转换技术的研究转换技术的研究n在上变换中在上变换中提出提出运用运用双线性插值算法双线性插值算法进行固定位置固进行固定位置固定系数加权运算，实现图像放大定系数加权运算，实

7、现图像放大;利用利用2 2个个RAMRAM循环交替循环交替存储存储8 8行，分别再用两个行，分别再用两个20482048深度的深度的FIFOFIFO缓存，进行乒缓存，进行乒乓操作读出相应数据。乓操作读出相应数据。n设计完成的系统可对模拟视频进行高清数字化，设计完成的系统可对模拟视频进行高清数字化，HDMIHDMI信号的转换，完成信号的转换，完成SDTVSDTV转转HDTVHDTV的上变换功能。的上变换功能。n在高清数字视频下变换系统的研究中，针对在高清数字视频下变换系统的研究中，针对HD-SDIHD-SDI接接收中数据字校准实现，采用软件模块实现高清并行分收中数据字校准实现，采用软件模块实现高

8、清并行分量视频信号恢复。视频分辨率的下变换的实现采用量视频信号恢复。视频分辨率的下变换的实现采用像像素均匀分布的循环丢弃法素均匀分布的循环丢弃法。二、二、数字电视格式转换技术的研究数字电视格式转换技术的研究n提出了一种采用提出了一种采用多参数融合带有反馈判决机制多参数融合带有反馈判决机制的音频的音频AGC算法，可进行实时数字音频信号处算法，可进行实时数字音频信号处理并具有一定噪音抑制能力。并且充分发挥了理并具有一定噪音抑制能力。并且充分发挥了FPGA的优点，嵌入的优点，嵌入Nios II处理器，灵活利用处理器，灵活利用Avalon总线和各功能模块实现了总线和各功能模块实现了SOPC系统，系统，

9、大大提高了系统的集成度。大大提高了系统的集成度。三、数字音频三、数字音频AGCAGC的研究的研究n设计设计了基于了基于FPGA的数字音频嵌入和解嵌方法，的数字音频嵌入和解嵌方法，即用即用FPGA的编程模块成功取代专业的编程模块成功取代专业音频加解音频加解嵌芯片嵌芯片与专用音频接口芯片。与专用音频接口芯片。n设计设计了音频包缓存的方案，解决了音频数据包了音频包缓存的方案，解决了音频数据包之间存在空隙导致加嵌出错的问题。针对数字之间存在空隙导致加嵌出错的问题。针对数字音频接口功能，将音频接口功能，将I2S数字音频接口与数字音频接口与AES3/EBU数字音频接口集成到了数字音频接口集成到了FPGA内

10、部，内部，采用采用过采样技术过采样技术，能有效避免数字接口抖动对，能有效避免数字接口抖动对恢复出的恢复出的AES3/EBU数字音频同步时钟的影响。数字音频同步时钟的影响。四、数字音频加嵌与解嵌技术的研究四、数字音频加嵌与解嵌技术的研究n设计设计了台标数据分片了台标数据分片分扇区分扇区的存储方式，为台的存储方式，为台标数字合成和台标改写带来了方便。针对数字标数字合成和台标改写带来了方便。针对数字台标系统的播出控制和系统管理问题，系统中台标系统的播出控制和系统管理问题，系统中嵌入了嵌入了MC8051软核软核，构建了基于，构建了基于FPGA的片的片上系统（上系统（SOC），为），为LCD多级菜单人机

11、交互系多级菜单人机交互系统的设计和整个数字台标系统的管理提供了可统的设计和整个数字台标系统的管理提供了可靠保证。靠保证。五、数字五、数字台标台标的研究的研究n针对键控特技，提出了一种针对键控特技，提出了一种蓝背景的抠像蓝背景的抠像算法，算法，可以较好的将视频对象提取出来，作为键信号可以较好的将视频对象提取出来，作为键信号供给背景和前景的合成。针对色键和抠像特技，供给背景和前景的合成。针对色键和抠像特技，提出了提出了边缘颜色分量消除边缘颜色分量消除的技术，解决了传统的技术，解决了传统色键合成器幕布色镶边、边缘突变的现象，使色键合成器幕布色镶边、边缘突变的现象，使抠像效果变得生动和真实。抠像效果变

12、得生动和真实。六、六、数字电视特技数字电视特技技术的研究技术的研究研究方向三：研究方向三：电路综合设计技术的研究电路综合设计技术的研究SOPCSOPC电路综合设计电路综合设计DSPDSP技术技术EDAEDA单片机技术单片机技术嵌入式系统嵌入式系统ASICASIC 多参数融合数字音频多参数融合数字音频AGC算法处理框图算法处理框图 xi(n)*Gixi(n)短时能量短时能量Mi帧内峰值帧内峰值Pi过零率过零率Zi首次过零检测首次过零检测更新更新Gi多参数融合生成多参数融合生成当前帧增益因子当前帧增益因子Gi短时能量短时能量Mi反馈机制生成反馈机制生成当前帧增益因子当前帧增益因子Gi+1yi(n)SOPC系统整体架构图 Avalon 总线 Nios II 软核处理器 SDRAM 控制器 IP 核 自定义LCD 控制器 PIO 控制器 IP 核 UART 控制器 IP 核 EPCS 控制器 IP 核 SDRAM 串口 LCD 按键 EPCS SOPC 系统层系统层 应用程序 自定义 音频 接口 RTOS C/OS-II 软件层软件层 驱动程序 驱动程序 硬件层硬件层 SDI 输入输出 JTAG 控制器 IP 核 JTAG