语音信号处理第6章课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《语音信号处理第6章课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 语音 信号 处理 课件
- 资源描述:
-
1、6.16.1概述概述v所谓人工神经网络所谓人工神经网络(Artificial Neural Network(Artificial Neural Network,简称为,简称为ANN)ANN),是在模,是在模拟人脑神经组织的基础上发展起来的全新的计算系统,它是由大量计算拟人脑神经组织的基础上发展起来的全新的计算系统,它是由大量计算单元通过丰富联结构成的复杂的网络。在一定程度上反映了人脑功能的单元通过丰富联结构成的复杂的网络。在一定程度上反映了人脑功能的若干基本特性,是一种更接近于人的认知过程的计算模型。若干基本特性,是一种更接近于人的认知过程的计算模型。v人工神经网络模型对于语音信号处理这类问题
2、特别有意义。传统的语音人工神经网络模型对于语音信号处理这类问题特别有意义。传统的语音信号处理系统都只是一种符号化系统,是对语音信号进行符号(序列)信号处理系统都只是一种符号化系统,是对语音信号进行符号(序列)串行处理,与人的感知过程有很大的差别。与此不同的是,人工神经网串行处理,与人的感知过程有很大的差别。与此不同的是,人工神经网络是由大量简单处理单元(称之为神经元或节点)广泛地相互连接而组络是由大量简单处理单元(称之为神经元或节点)广泛地相互连接而组成的一个并行处理网络系统。虽然每个神经元的结构和功能十分简单,成的一个并行处理网络系统。虽然每个神经元的结构和功能十分简单,但大量神经元构成的网
3、络系统对知识的存储方式是分布式的,这种分布但大量神经元构成的网络系统对知识的存储方式是分布式的,这种分布式并行处理的特性,使得神经网络具有很强的自组织和自学习能力以及式并行处理的特性,使得神经网络具有很强的自组织和自学习能力以及很高的容错力和顽健性。很高的容错力和顽健性。6.2 6.2 人工神经网络简介人工神经网络简介v长期以来,人们一直企盼着通过对人类神经系统的研究,能长期以来,人们一直企盼着通过对人类神经系统的研究,能够发明一种仿效人脑信息处理模式的智能型计算机。构造人够发明一种仿效人脑信息处理模式的智能型计算机。构造人工神经网络就是希望通过类似于人类神经元的模型,在信号工神经网络就是希望
4、通过类似于人类神经元的模型,在信号处理上使计算机具有近似人类的智能。处理上使计算机具有近似人类的智能。v人工神经网络是由大量简单处理单元,即神经元互相联接而人工神经网络是由大量简单处理单元,即神经元互相联接而构成的独具特色的信息处理系统。这种系统是可以训练的,构成的独具特色的信息处理系统。这种系统是可以训练的,它可以积累经验而不断改善自身的性能。同时,由于高度的它可以积累经验而不断改善自身的性能。同时,由于高度的并行性,所以它们可以进行快速判别并具有容错性。这些特并行性,所以它们可以进行快速判别并具有容错性。这些特点使它特别适用于用来进行语音信号处理。点使它特别适用于用来进行语音信号处理。v人
5、工神经网络可采用物理可实现的器件或利用现有的计算机人工神经网络可采用物理可实现的器件或利用现有的计算机来模拟生物神经网络的某些结构与功能。构成人工神经网络来模拟生物神经网络的某些结构与功能。构成人工神经网络的三个基本要素是:的三个基本要素是:(1 1)神经元,即人工神经网络的基本处理单元,在网络中)神经元,即人工神经网络的基本处理单元,在网络中称为节点或网点。称为节点或网点。(2 2)网络拓朴,即网络的结构以及神经元彼此联接的方式。)网络拓朴,即网络的结构以及神经元彼此联接的方式。根据联接方式的不同,网络可以分为反馈(根据联接方式的不同,网络可以分为反馈(RecurrentRecurrent)
6、型)型网(又称循环网)以及非反馈型网。网(又称循环网)以及非反馈型网。(3 3)网络的训练(学习)算法。训练算法是指一些决定联)网络的训练(学习)算法。训练算法是指一些决定联接各神经元的初始权值和阈值以及如何随着训练模式的加入接各神经元的初始权值和阈值以及如何随着训练模式的加入而调整这些权值和阈值的方法。而调整这些权值和阈值的方法。6.3 6.3 人工神经网络的构成人工神经网络的构成v人工神经网络由神经元、网络拓扑、学习算法(即权重迭代人工神经网络由神经元、网络拓扑、学习算法(即权重迭代更新方式)三者构成。它在结构上与目前广泛使用的更新方式)三者构成。它在结构上与目前广泛使用的Von Von
7、NeumannNeumann机不同,组成网络的大量神经元集体的、并行的活机不同,组成网络的大量神经元集体的、并行的活动可得到预期的处理结果,且运算速度快。同时,人工神经动可得到预期的处理结果,且运算速度快。同时,人工神经网络具有非常强的学习功能,神经元之间的联接权及网络的网络具有非常强的学习功能,神经元之间的联接权及网络的结构可通过学习获得。结构可通过学习获得。神经元神经元v人工神经网络模型是模仿人脑构成的,其构成的基本单元为人工神经网络模型是模仿人脑构成的,其构成的基本单元为人造神经元,又称节点或网点。其作用是把若干个输入加权人造神经元,又称节点或网点。其作用是把若干个输入加权求和,并将这个
8、加权和非线性处理后输出。求和,并将这个加权和非线性处理后输出。x1x2xNfu.yw1wNw2 神经元的学习算法神经元的学习算法 v几乎所有神经网络学习算法都可以看作是几乎所有神经网络学习算法都可以看作是HebbHebb学习规则的变学习规则的变形。形。HebbHebb学习规则的基本思想是:学习规则的基本思想是:如果神经元如果神经元 接收来自另一神经元接收来自另一神经元 的输出,则当这两个神的输出,则当这两个神经元同时兴奋时,从经元同时兴奋时,从 到到 的权值的权值 就得到加强。就得到加强。具体到前述的神经元模型,可以将具体到前述的神经元模型,可以将HebbHebb规则表现为如下的算规则表现为如
9、下的算法形式:法形式:公式中公式中 是对第是对第i i个权值的修正值,个权值的修正值,是控制学习速度的系是控制学习速度的系数。数。iujujuiuijwiiwyxiw 网络拓扑网络拓扑 v网络拓扑是指网络的结构以及神经元之间的联接方式。根据网络拓扑是指网络的结构以及神经元之间的联接方式。根据联接方式的不同,可分为反馈型人工神经网络和非反馈型人联接方式的不同,可分为反馈型人工神经网络和非反馈型人工神经网络。前者神经元之间存在着反馈环路,后者神经元工神经网络。前者神经元之间存在着反馈环路,后者神经元之间则不存在着反馈环路。对于非反馈型人工神经网络,若之间则不存在着反馈环路。对于非反馈型人工神经网络
10、,若结构是分层的,且每一层神经元只与上一层神经元相联,则结构是分层的,且每一层神经元只与上一层神经元相联,则该网络称为前馈型人工神经网络。该网络称为前馈型人工神经网络。网络的学习算法网络的学习算法 v网络的学习算法是以满足网络所需的性能为目标,决定联接网络的学习算法是以满足网络所需的性能为目标,决定联接各神经元的初始权值及在训练中调整权值的方法。学习方法各神经元的初始权值及在训练中调整权值的方法。学习方法可分为监督学习与非监督学习。前者为有导师学习,训练时,可分为监督学习与非监督学习。前者为有导师学习,训练时,同时向网络提供输入模式及输出的样板模式(导师),在不同时向网络提供输入模式及输出的样
11、板模式(导师),在不断输入不同训练模式的同时调整权值,从而使输出模式尽量断输入不同训练模式的同时调整权值,从而使输出模式尽量接近样板模式;后者是无导师学习,它是一种自动聚类过程,接近样板模式;后者是无导师学习,它是一种自动聚类过程,通过输入训练模式的加入,不断调整权值以使输出能够反映通过输入训练模式的加入,不断调整权值以使输出能够反映输入训练模式的分布特点。输入训练模式的分布特点。6.46.4几种用于模式识别的神经网络模型及其主要算法几种用于模式识别的神经网络模型及其主要算法v由于人在识别速度及判别能力方面常超过一般典型的计算机由于人在识别速度及判别能力方面常超过一般典型的计算机所作的识别,故
12、人们有兴趣研讨与神经网络有关的识别机理,所作的识别,故人们有兴趣研讨与神经网络有关的识别机理,希望能有所借鉴或启发。诸如利用简单网络的高度并行处理,希望能有所借鉴或启发。诸如利用简单网络的高度并行处理,多层处理法等。从模式识别学的角度来看,现在所讨论的方多层处理法等。从模式识别学的角度来看,现在所讨论的方法属于借鉴于神经网络识别机理所拟定的模式识别方法,它法属于借鉴于神经网络识别机理所拟定的模式识别方法,它与统计识别法联系密切,但在方法、思路、识别灵活性及识与统计识别法联系密切,但在方法、思路、识别灵活性及识别能力、速度等方面均有其特点。别能力、速度等方面均有其特点。单层感知器单层感知器 v单
13、层感知器(单层感知器(Single Layer PereceptronSingle Layer Pereceptron,简称为,简称为SLPSLP)可可作为分类器。单输出的作为分类器。单输出的SLPSLP,其结构就是如图,其结构就是如图6-16-1所示的人工所示的人工神经元。输入的神经元。输入的N N个元可为连续的或二进制的标量信号。个元可为连续的或二进制的标量信号。表示一个维空间的超平面。图表示一个维空间的超平面。图6-36-3表示可由这个表示可由这个超平面对超平面对A A、B B类进行分类。类进行分类。SLPSLP结构的前部分为一线性加权结构的前部分为一线性加权装置装置(权为权为 ,附有阀
14、值,附有阀值 ),其输出经一个性能函数为,其输出经一个性能函数为 的硬限幅非线性装置,然后输出到判决器。按当其输入为的硬限幅非线性装置,然后输出到判决器。按当其输入为+1+1时判属时判属A A类;当其输入为类;当其输入为-1-1时判属时判属B B类的准则来判类。类的准则来判类。0)()(1txtwNiiiiwfv两类分类处理两类分类处理 双层感知器双层感知器 v实际上实用的最简单的实际上实用的最简单的M M类分类的感知器(类分类的感知器(PereceptronPereceptron)也)也应该是一种双层神经网络模型。它是一个两层前馈神经网络,应该是一种双层神经网络模型。它是一个两层前馈神经网络
15、,一层为输入层,另一层具有计算单元,可以通过监督学习建一层为输入层,另一层具有计算单元,可以通过监督学习建立模式判别的能力,如图立模式判别的能力,如图6-46-4所示。所示。x2xNx1yMy1y2v学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。作为分类器,可以用已知类别的模式向量(向量维数等于输入节点数)作为分类器,可以用已知类别的模式向量(向量维数等于输入节点数)作为训练集,当输入为属于第作为训练集,当输入为属于第j j类的特征向量类的特征向量 时,应使对应于该类的时,应使对应于该类的输出神经元的输出为输出神经元
16、的输出为1 1,而其它输出神经元的输出则为,而其它输出神经元的输出则为0 0(或(或1 1)。应)。应使对应于该类的输出神经元的输出为使对应于该类的输出神经元的输出为1 1,而其它输出神经元的输出则为,而其它输出神经元的输出则为0 0(或(或1 1)。设理想的输出为:)。设理想的输出为:实际的输出为:实际的输出为:为了使实际的输出逼近理想输出,可以反复依次输入训练集中的输入向为了使实际的输出逼近理想输出,可以反复依次输入训练集中的输入向量量 ,然后计算出实际的输出,然后计算出实际的输出 ,再对权值,再对权值 作如下的修改作如下的修改 双层感知器的学习过程与求取线性判别函数的过程是等价的,它只能
17、用双层感知器的学习过程与求取线性判别函数的过程是等价的,它只能用于解决线性可分问题。它的特点是学习过程收敛很快,且与初始值无关。于解决线性可分问题。它的特点是学习过程收敛很快,且与初始值无关。XTmdddD),(2112(,.,)TmYy yyXYijw)()()()()1(txtytdtwtwijjijij 多层感知器多层感知器v当类别不能用一超平面完善分割时,需用更复杂结构的感知当类别不能用一超平面完善分割时,需用更复杂结构的感知器,即所谓的器,即所谓的“多层感知器多层感知器”。(。(Multi-Layer PerceptronMulti-Layer Perceptron,简称为简称为ML
18、PMLP)如果感知器的活化函数具有非线性,则这种网)如果感知器的活化函数具有非线性,则这种网络具有较强的分类能力。多层感知器网是由若干层感知器以络具有较强的分类能力。多层感知器网是由若干层感知器以及可修正的权连接而构成的多层前馈网络。及可修正的权连接而构成的多层前馈网络。v多层感知器的结构由一个输入层,一个以上隐藏层和一个输多层感知器的结构由一个输入层,一个以上隐藏层和一个输出层组成。所有的连接均为相邻层之间的节点的连接,同层出层组成。所有的连接均为相邻层之间的节点的连接,同层之间不连接。输入层不作任何运算,它只是将每个输入量分之间不连接。输入层不作任何运算,它只是将每个输入量分配到各个输入节
展开阅读全文