语音信号处理语音识别.课件.ppt

1、9.1 9.1 概述概述v语音识别（语音识别（Speech RecognitionSpeech Recognition）主要指让机器听懂人说的话，即在）主要指让机器听懂人说的话，即在各种情况下，准确地识别出语音的内容，从而根据其信息，执行人的各各种情况下，准确地识别出语音的内容，从而根据其信息，执行人的各种意图。它是一门涉及面很广的交叉学科，与计算机、通信、语音语言种意图。它是一门涉及面很广的交叉学科，与计算机、通信、语音语言学、数理统计、信号处理、神经生理学、神经心理学和人工智能等学科学、数理统计、信号处理、神经生理学、神经心理学和人工智能等学科都有着密切的关系。都有着密切的关系。第1页，共

2、17页。一般语音识别系统按不同的角度有下面几种分类方法。一般语音识别系统按不同的角度有下面几种分类方法。v孤立词、连接词、连续语音识别系统以及语音理解和会话系统。孤立词、连接词、连续语音识别系统以及语音理解和会话系统。v大词汇、中词汇和小词汇量语音识别系统。大词汇、中词汇和小词汇量语音识别系统。v特定人和非特定人语音识别系统。特定人和非特定人语音识别系统。v语音识别所采用的方法也可以作为语音识别系统分类的依据，语音识别所采用的方法也可以作为语音识别系统分类的依据，因此，也有从识别方法上来对语音识别系统进行分类的。语音因此，也有从识别方法上来对语音识别系统进行分类的。语音识别方法一般有模板匹配法

3、、随机模型法和概率语法分析法三识别方法一般有模板匹配法、随机模型法和概率语法分析法三种。种。第2页，共17页。v实用语音识别研究中存在的几个主要问题和困难如下：实用语音识别研究中存在的几个主要问题和困难如下：v（1 1）语音识别的一种重要应用是自然语言的识别和理解。）语音识别的一种重要应用是自然语言的识别和理解。v（2 2）语音信息的变化很大。）语音信息的变化很大。v（3 3）语音的模糊性。）语音的模糊性。v（4 4）单个字母及单个词语发音时语音特性受上下文环境的影）单个字母及单个词语发音时语音特性受上下文环境的影响，使相同字母有不同的语音特性。响，使相同字母有不同的语音特性。v（5 5）环境

4、的噪声和干扰对语音识别有严重影响。）环境的噪声和干扰对语音识别有严重影响。第3页，共17页。9.2 9.2 语音识别原理和识别系统的组成语音识别原理和识别系统的组成v语音识别系统是建立在一定的硬件平台和操作系统之上的一套应语音识别系统是建立在一定的硬件平台和操作系统之上的一套应用软件系统。用软件系统。v语音识别一般分两个步骤。第一步是系统语音识别一般分两个步骤。第一步是系统“学习学习”或或“训练训练”阶阶段。第二步是段。第二步是“识别识别”或或“测试测试”阶段。阶段。v语音识别技术加上各种外围技术的组合，才能构成一个完整的实际语音识别技术加上各种外围技术的组合，才能构成一个完整的实际应用的语音

5、识别系统。从语音识别系统的各个功能划分的角度出发，应用的语音识别系统。从语音识别系统的各个功能划分的角度出发，语音识别系统可分为语音信号的预处理部分、语音识别系统的核心语音识别系统可分为语音信号的预处理部分、语音识别系统的核心算法部分以及语音识别系统的基本数据库等几部分。算法部分以及语音识别系统的基本数据库等几部分。第4页，共17页。v一般语音识别系统框图一般语音识别系统框图 第5页，共17页。9.2.1 9.2.1预处理和参数分析预处理和参数分析v语音信号预处理部分包括：语音信号的电压放大、反混叠滤波、语音信号预处理部分包括：语音信号的电压放大、反混叠滤波、自动增益控制、模数变换、去除声门激

6、励及口唇辐射的影响等。自动增益控制、模数变换、去除声门激励及口唇辐射的影响等。这里仅对个别需要注意的地方做一些介绍。这里仅对个别需要注意的地方做一些介绍。v话筒自适应和输入电平的设定话筒自适应和输入电平的设定：输入语音信号的品质对语音识：输入语音信号的品质对语音识别性能的影响很大，因此，对话筒的耐噪声性能要求很高。选别性能的影响很大，因此，对话筒的耐噪声性能要求很高。选择好的麦克风，不仅能提高输入语音质量，而且，还有助于提择好的麦克风，不仅能提高输入语音质量，而且，还有助于提高整个系统的鲁棒性。为了保持高精度的语音分析，高整个系统的鲁棒性。为了保持高精度的语音分析，A/DA/D变换的变换的电平

7、必需正确的设定。同时还要通过电平必需正确的设定。同时还要通过AGCAGC来自动的调整输入电平来自动的调整输入电平放大的倍数或者通过对于输入数据进行规整处理来控制语音数据放大的倍数或者通过对于输入数据进行规整处理来控制语音数据幅度的变化。幅度的变化。第6页，共17页。v抗噪声抗噪声：环境噪声不可能完全消除。对于手自由的语音识别（：环境噪声不可能完全消除。对于手自由的语音识别（Hand-Hand-FreeFree），话筒与嘴有一定距离的时候，以及在汽车里或户外等周围），话筒与嘴有一定距离的时候，以及在汽车里或户外等周围环境噪声大的时候必须对输入信号进行降噪处理。对于平稳噪声，环境噪声大的时候必须对

8、输入信号进行降噪处理。对于平稳噪声，传统的谱相减（传统的谱相减（SSSS）降噪声技术是有效的，对于非平稳噪声也有通过两）降噪声技术是有效的，对于非平稳噪声也有通过两个话筒分别输入语音和噪声相互抵消加以消除的方法。个话筒分别输入语音和噪声相互抵消加以消除的方法。v语音区间的端点检测语音区间的端点检测:端点检测的目的是从包含语音的一段信号端点检测的目的是从包含语音的一段信号中确定出语音的起点以及终点。有效的端点检测不仅能使处理中确定出语音的起点以及终点。有效的端点检测不仅能使处理时间减到最小，而且能排除无声段的噪声干扰，从而使识别系时间减到最小，而且能排除无声段的噪声干扰，从而使识别系统具有良好的

9、识别性能。传统的端点检测方法是将语音信号的统具有良好的识别性能。传统的端点检测方法是将语音信号的短时能量与过零率相结合加以判断的。但这种端点检测算法如短时能量与过零率相结合加以判断的。但这种端点检测算法如果运用不好，将会发生漏检或虚检的情况。为了克服传统端点果运用不好，将会发生漏检或虚检的情况。为了克服传统端点检测算法的缺点，已有很多改进方法被提出来。例如，可以考检测算法的缺点，已有很多改进方法被提出来。例如，可以考虑采用基于相关性的语音端点检测算法。虑采用基于相关性的语音端点检测算法。第7页，共17页。v语音参数分析语音参数分析:经过预处理后的语音信号，就要对其进行特征参数经过预处理后的语音

10、信号，就要对其进行特征参数分析，其目的是抽取语音特征，以使在语音识别时类内距离尽量分析，其目的是抽取语音特征，以使在语音识别时类内距离尽量小，类间距离尽量大。识别参数可以选择下面的某一种或几种的小，类间距离尽量大。识别参数可以选择下面的某一种或几种的组合：平均能量、过零数或平均过零数、频谱、共振峰、倒谱、组合：平均能量、过零数或平均过零数、频谱、共振峰、倒谱、线性预测系数、线性预测系数、PARCORPARCOR系数（偏自相关系数）、声道形状的尺寸函系数（偏自相关系数）、声道形状的尺寸函数，以及音长、音高、声调等超声短信息函数。数，以及音长、音高、声调等超声短信息函数。v现在，经过现在，经过FF

11、TFFT变换或者变换或者LPCLPC得到功率谱以后再经过对数变换和傅得到功率谱以后再经过对数变换和傅立叶反变换得到的倒谱参数是常用的语音识别特征参数。立叶反变换得到的倒谱参数是常用的语音识别特征参数。第8页，共17页。9.2.2 9.2.2 语音识别语音识别v语音识别是语音识别系统的核心部分。除包括语音的声学模型以语音识别是语音识别系统的核心部分。除包括语音的声学模型以及相应的语言模型的建立、参数匹配方法、搜索算法、话者自适及相应的语言模型的建立、参数匹配方法、搜索算法、话者自适应算法，还包括增添新词的功能、数据库管理和友好的人机交互应算法，还包括增添新词的功能、数据库管理和友好的人机交互界面

12、等等。界面等等。v语音模型语音模型:语音模型一般指的是用于参数匹配的声学模型。语音声学模语音模型一般指的是用于参数匹配的声学模型。语音声学模型的好坏对语音识别的性能影响很大，现在公认的较好的概率统计模型型的好坏对语音识别的性能影响很大，现在公认的较好的概率统计模型是是HMMHMM模型。因为模型。因为HMMHMM可以吸收环境和话者引起的特征参数的变动，实可以吸收环境和话者引起的特征参数的变动，实现非特定人的语音识别。现非特定人的语音识别。识别模型的基元单位的选择对于识别性能也有很大的影响。对于日识别模型的基元单位的选择对于识别性能也有很大的影响。对于日语和英语，以半音节、环境依存音素为模型的研究

13、例子较多。对于汉语，语和英语，以半音节、环境依存音素为模型的研究例子较多。对于汉语，则可用则可用“声母声母-韵母韵母”，也可用音节字、词等识别基元。，也可用音节字、词等识别基元。第9页，共17页。v连续语音的自动分段连续语音的自动分段:连续语音的自动分段，是指从语音信号流中连续语音的自动分段，是指从语音信号流中自动地分割出识别基元的问题。自动地分割出识别基元的问题。把连续的语音信号分成对应于把连续的语音信号分成对应于各音的区间叫做分割（各音的区间叫做分割（SegmentationSegmentation），分割的结果产生的区间），分割的结果产生的区间叫做分割区间（叫做分割区间（SegmentS

14、egment），给分割区间付与表示音种的符号叫），给分割区间付与表示音种的符号叫做符号化。做符号化。汉语自动分段是指根据汉语特点及其参数的统计规律，设汉语自动分段是指根据汉语特点及其参数的统计规律，设置某些参数的阈值，用计算机程序自动的进行分段。置某些参数的阈值，用计算机程序自动的进行分段。通常可用的参数通常可用的参数有：帧平均能量、帧平均过零数、线性预测的第一个反射系数或有：帧平均能量、帧平均过零数、线性预测的第一个反射系数或其残差序列、音调值等。从简单、快速的要求而言，最好采用前其残差序列、音调值等。从简单、快速的要求而言，最好采用前两种时域参数即帧平均能量两种时域参数即帧平均能量FNFN

15、和帧平均过零数和帧平均过零数ZNZN。第10页，共17页。v语音识别方法语音识别方法:当今语音识别技术的主流算法，主要有基于参数模型的当今语音识别技术的主流算法，主要有基于参数模型的隐马尔可夫模型（隐马尔可夫模型（HMMHMM）的方法和基于非参数模型的矢量量化（）的方法和基于非参数模型的矢量量化（VQVQ）的）的方法。另外，基于人工神经网络方法。另外，基于人工神经网络(ANN)(ANN)的语音识别方法，也得到了的语音识别方法，也得到了很好的应用。很好的应用。传统的基于动态时间伸缩的算法（传统的基于动态时间伸缩的算法（DTWDTW），在连续语音识别中仍），在连续语音识别中仍然是主流方法。同时，在

16、小词汇量、孤立字（词）识别系统中，然是主流方法。同时，在小词汇量、孤立字（词）识别系统中，也已有许多改进的也已有许多改进的DTWDTW算法被提出。算法被提出。用于语音识别的距离测度有多种，如欧氏距离及其变形的用于语音识别的距离测度有多种，如欧氏距离及其变形的欧氏距离测度、似然比测度、加权的识别测度等。选择什么样欧氏距离测度、似然比测度、加权的识别测度等。选择什么样的距离测度与识别系统采用什么语音特征参数和什么样的识别的距离测度与识别系统采用什么语音特征参数和什么样的识别模型有关，模型有关，第11页，共17页。v计算量和存储量的削减计算量和存储量的削减：对于在有限的硬件和软件资源下动作的：对于在

17、有限的硬件和软件资源下动作的语音识别系统，降低识别处理的计算量和存储量非常重要。当用语音识别系统，降低识别处理的计算量和存储量非常重要。当用HMMHMM作为识别模型时，特征矢量的输出概率计算以及输入语音和语作为识别模型时，特征矢量的输出概率计算以及输入语音和语音模型的匹配搜索将占用很大的时间和空间。为了减少计算量和音模型的匹配搜索将占用很大的时间和空间。为了减少计算量和存储量，可以进行语音或者标准模式的矢量量化和聚类运算分析，存储量，可以进行语音或者标准模式的矢量量化和聚类运算分析，利用代表语音特征的中心值进行匹配。在利用代表语音特征的中心值进行匹配。在HMMHMM语音识别系统中，语音识别系统

18、中，识别运算时输出概率计算所消耗的计算量较大，所以可以在输识别运算时输出概率计算所消耗的计算量较大，所以可以在输出概率计算上采用快速算法。另外为了提高搜索效率，可以采出概率计算上采用快速算法。另外为了提高搜索效率，可以采用线搜索方法以及向前向后的组合搜索法等。用线搜索方法以及向前向后的组合搜索法等。第12页，共17页。v拒识别处理拒识别处理：由于用户发音的错误，可能出现系统词汇表以外的：由于用户发音的错误，可能出现系统词汇表以外的单词或者句子，同时，在噪声环境下由噪音引起的语音区间检测单词或者句子，同时，在噪声环境下由噪音引起的语音区间检测错误也可能产生许多误识别的结果。所以在实际语音识别系统

19、中，错误也可能产生许多误识别的结果。所以在实际语音识别系统中，对信赖度低的识别结果的对信赖度低的识别结果的RejectionRejection处理也是一个很重要的课题，处理也是一个很重要的课题，可以考虑利用音节识别得到的得分补偿的方式进行拒识别处理，可以考虑利用音节识别得到的得分补偿的方式进行拒识别处理，在这种方式中，利用在不限定识别对象的条件下求得的参考得在这种方式中，利用在不限定识别对象的条件下求得的参考得分来补偿的识别结果，并用补偿过的识别得分进行拒识别判定。分来补偿的识别结果，并用补偿过的识别得分进行拒识别判定。v识别结果确认，候补选择识别结果确认，候补选择：为了避免由于误识别而产生的

20、：为了避免由于误识别而产生的ApplicationApplication的误动作，可以让用户对识别结果进行确定，或者给的误动作，可以让用户对识别结果进行确定，或者给用户提供复数个识别结果侯选，让用户自己选择正确的结果。用户提供复数个识别结果侯选，让用户自己选择正确的结果。第13页，共17页。v用户设定：用户设定：一台识别系统被多个用户使用的场合。系统必须具有记忆和一台识别系统被多个用户使用的场合。系统必须具有记忆和选择每个用户特定模型的功能。同时，每个用户可以随时在自己的词典选择每个用户特定模型的功能。同时，每个用户可以随时在自己的词典里增加或删减单词的功能，以及系统根据一定的特征信息自动进行

21、不同里增加或删减单词的功能，以及系统根据一定的特征信息自动进行不同用户间的用户间的ApplicationApplication识别程序的切换的功能。识别程序的切换的功能。第14页，共17页。9.2.3 9.2.3 语音识别系统的基本数据库语音识别系统的基本数据库 语音识别系统中包括大量的控制参数信息，这些参数以数据库的方语音识别系统中包括大量的控制参数信息，这些参数以数据库的方式存储在计算机内式存储在计算机内,构成了语音识别系统的基本数据库。它们是通过构成了语音识别系统的基本数据库。它们是通过“训练训练”（或叫（或叫“学习学习”）的方法，从单讲话者或多讲话者的多）的方法，从单讲话者或多讲话者的

22、多次重复发音的语音参数以及大量的语法规则中，经过长时间的训次重复发音的语音参数以及大量的语法规则中，经过长时间的训练而聚类得到的。练而聚类得到的。需要指出的是，一个成功的语音识别系统的建立，一定要结合其具需要指出的是，一个成功的语音识别系统的建立，一定要结合其具体的应用背景，选择不同的识别策略、以及硬件平台和软件平台。另外，体的应用背景，选择不同的识别策略、以及硬件平台和软件平台。另外，更应注意的是，语音识别系统的建立应当结合语言的自然特点，否则，更应注意的是，语音识别系统的建立应当结合语言的自然特点，否则，将很难达到较高的水平。将很难达到较高的水平。第15页，共17页。v单词词典和文法单词词

23、典和文法：一般来说，在多任务环境中，对于一个：一般来说，在多任务环境中，对于一个ApplicationApplication，要定义相应的单词集合，根据识别结果或，要定义相应的单词集合，根据识别结果或ApplicationApplication的动作进行单词集之间的切换。在文上法要根据具体的动作进行单词集之间的切换。在文上法要根据具体的的ApplicationApplication，首先设定和分析输入语句的语义内容；然后，首先设定和分析输入语句的语义内容；然后，根据语义内容的句法表现、主、谓语的种类、语序、语的省略根据语义内容的句法表现、主、谓语的种类、语序、语的省略等，构造单词字典以及文法，

24、同时，文法上的单词间的语义依等，构造单词字典以及文法，同时，文法上的单词间的语义依存关系可以利用依存关系表格表示。通过单词词典、文法以及存关系可以利用依存关系表格表示。通过单词词典、文法以及声学模型（如声学模型（如HMMHMM）和句法分析搜索算法的共同编译，得到用于）和句法分析搜索算法的共同编译，得到用于识别的系统网络。识别的系统网络。第16页，共17页。v词典编辑、文法开发工具词典编辑、文法开发工具：高效的单词词典编辑、文法制作：高效的单词词典编辑、文法制作工具的开发是很重要的。可以根据不同用户的能力或具体的工具的开发是很重要的。可以根据不同用户的能力或具体的ApplicationApplication的复杂程度，提供最佳的用户接口和最适的复杂程度，提供最佳的用户接口和最适应的工具性能。应的工具性能。vAPIAPI：为了使语音识别和：为了使语音识别和ApplicationApplication更紧密的结合，实更紧密的结合，实现对语音识别系统的自动控制，现对语音识别系统的自动控制，APIAPI是必须的。可以通过是必须的。可以通过APIAPI来实现语音识别环境的切换，识别开始、终止等来实现语音识别环境的切换，识别开始、终止等对识别系统的控制。对识别系统的控制。第17页，共17页。