多媒体技术与通信第3章课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《多媒体技术与通信第3章课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体技术 通信 课件
- 资源描述:
-
1、第三章第三章 音频信息处理技术音频信息处理技术3.1 声学基础知识声学基础知识3.2 数字音频技术数字音频技术 3.3 音频信号压缩编码音频信号压缩编码3.4 音频信息压缩编码标准音频信息压缩编码标准3.5 IP电话技术电话技术3.1 声学基础知识声学基础知识声音是通过空气传播的一种连续的波。声音是通过空气传播的一种连续的波。是由许多频率不同的分量信号组成的复合信号。是由许多频率不同的分量信号组成的复合信号。复合信号的频率范围称为带宽。复合信号的频率范围称为带宽。带宽为带宽为20Hz20kHz的信号称为音频(的信号称为音频(audio)信号。信号。声压及声压级声压及声压级SPL(Sound P
2、ressure Level)也是常用的声音描述参量。)也是常用的声音描述参量。声压就是声音的压力。以帕斯卡(声压就是声音的压力。以帕斯卡(Pa)为)为单位来度量响度;单位来度量响度;对声压有效值取对数,用此对数值来表示对声压有效值取对数,用此对数值来表示声音的强弱。这种表示声音强弱的对数值声音的强弱。这种表示声音强弱的对数值就叫做声压级就叫做声压级SPL。一、声音和人耳听觉特性一、声音和人耳听觉特性1、声音的性质、声音的性质(1)声音是时基类媒体。)声音是时基类媒体。(2)声音有三个要素,音调、音强和音色。)声音有三个要素,音调、音强和音色。(3)声音具有连续谱特性。)声音具有连续谱特性。(4
3、)声音有方向感。)声音有方向感。(5)音色与失真特性。)音色与失真特性。2、人耳听觉特性、人耳听觉特性(1)人耳对声音强弱的感觉特性)人耳对声音强弱的感觉特性(2)响度、响度级)响度、响度级(3)人耳听觉的掩蔽效应)人耳听觉的掩蔽效应一个声音的存在会影响人们对其他声音的听一个声音的存在会影响人们对其他声音的听觉能力,觉能力,使一个声音在听觉上掩蔽了另一使一个声音在听觉上掩蔽了另一个声音,个声音,即所谓的即所谓的“掩蔽效应掩蔽效应”。(4)声音质量评价)声音质量评价声音类型带 宽电话语音200Hz3.4kHz调幅广播50Hz7kHz调频广播20Hz15kHzCD20Hz20kHz声音的质量与声音
4、的带宽有关,一般来声音的质量与声音的带宽有关,一般来说频率范围越宽,声音质量也就越高。说频率范围越宽,声音质量也就越高。可以使用信噪比(可以使用信噪比(SNR)、主观平均判分)、主观平均判分法(法(MOS)。)。在采用等级法在采用等级法MOS(Mean Opinion Score)进行评价时,通常设优,良,中,差,劣进行评价时,通常设优,良,中,差,劣五个等级。五个等级。平均观点分平均观点分(Mean Opinion Score,MOS)是一种主观评价指标。听众根据系统质量是一种主观评价指标。听众根据系统质量的好坏使用的好坏使用N分制给系统打分。分制给系统打分。常见的常见的5分制系统分制系统:
5、平均观点分平均观点分 质量等级质量等级 主观感觉主观感觉 5 极好极好 觉察不到觉察不到 4 好好觉察得到,但不难听觉察得到,但不难听 3 一般一般 有点难听有点难听 2 差差 难听,但不反感难听,但不反感 1 极差极差 难以忍受难以忍受采样点越多,声音记录的保真度就越高,但电采样点越多,声音记录的保真度就越高,但电脑存储的信息量也相应增加。脑存储的信息量也相应增加。(5)声道)声道单声道单声道(Monophonic)意味着单个声源。意味着单个声源。声音的三个属性:声音的三个属性:(1)幅值幅值(Amplitude)(2)相位相位(Phase)(3)时序时序(Timing)3.2 数字音频技术
6、数字音频技术一、数字音频一、数字音频在计算机中声音信号是用一系列的数字表在计算机中声音信号是用一系列的数字表示的,称为数字音频。示的,称为数字音频。分为:分为:波形声音:包含所有的声音形式。波形声音:包含所有的声音形式。语音:也表现为波形声音。语音:也表现为波形声音。音乐:是符号化的声音。音乐:是符号化的声音。二、数字音频技术二、数字音频技术声音进入计算机的第一步就是数字化。声音进入计算机的第一步就是数字化。数字化实际上就是采样和量化。数字化实际上就是采样和量化。影响数字声音波形质量的主要因素有三个:影响数字声音波形质量的主要因素有三个:(1)采样频率)采样频率(2)采样精度)采样精度(3)通
7、道数)通道数1、声音信号数字化、声音信号数字化l 采样(采样(sampling):将声音信号在时):将声音信号在时间上离散化,即每隔相等的一段时间抽间上离散化,即每隔相等的一段时间抽取一个信号样本。取一个信号样本。l 量化(量化(quantization):将连续的信):将连续的信号幅度离散化。如果幅度的划分是等间号幅度离散化。如果幅度的划分是等间隔的,称为线性量化,否则为非线性量隔的,称为线性量化,否则为非线性量化。化。电压范围电压范围 量化量化(dec)编码编码(bin)0.5 0.7 3 011 0.3 0.5 2 010 0.1 0.3 1 001-0.1 0.1 0 000-0.3
8、-0.1 -1 111-0.5 -0.3 -2 110-0.7 -0.5 -3 101-0.9 -0.7 -4 100l 采样频率采样频率奈奎斯特理论指出:采样频率不应低于声音信奈奎斯特理论指出:采样频率不应低于声音信号最高频率的两倍,这样就能把以数字表达的号最高频率的两倍,这样就能把以数字表达的声音还原成原来的声音,称为无损数字化。声音还原成原来的声音,称为无损数字化。fs=2fmax标准的采样频率有标准的采样频率有11.025kHz,22.05kHz,44.1kHz。l 采样精度采样精度每个声音样本的数字化位数反映了声音波形每个声音样本的数字化位数反映了声音波形幅度的采样精度。幅度的采样精
9、度。一般有一般有8位和位和16位两种双声道(立体声)。位两种双声道(立体声)。声音的数据量声音的数据量=(采样频率(采样频率*每个采样位数每个采样位数*声道数)声道数)/8(B/s)质量质量采样频率采样频率(kHz)样本精度样本精度单道声单道声/立体声立体声数据率数据率(kb/s)频率范围频率范围(kHz)电话电话88单道声单道声642003400AM11.0258单道声单道声88507000FM22.05016立体声立体声705.62015000CD44.116立体声立体声1411.22020000DAT4816立体声立体声153620200002、音频的数字化与再现、音频的数字化与再现音频
10、处理应考虑以下三点:音频处理应考虑以下三点:(1)人与计算机通信。包括音频获取、语音)人与计算机通信。包括音频获取、语音的识别和理解。的识别和理解。(2)计算机与人通信。包括音乐合成、语音)计算机与人通信。包括音乐合成、语音合成、声音的定位以及音频视频的同步。合成、声音的定位以及音频视频的同步。(3)人)人-计算机计算机-人通信。有语音采集、音频人通信。有语音采集、音频的编码和解码、音频的存储、音频的传输等。的编码和解码、音频的存储、音频的传输等。3、数字音乐国际标准、数字音乐国际标准MIDI和和MP3(1)电子乐器数字接口:)电子乐器数字接口:MIDI(musical instrument
11、digital interface,MIDI)MIDI实质上是由实质上是由MIDI控制器(或控制器(或MIDI文件)产生的指示电子音乐合成器要做什文件)产生的指示电子音乐合成器要做什么、怎么做(如演奏某个音符、加大音量、么、怎么做(如演奏某个音符、加大音量、生成音响效果)的一套标准指令。生成音响效果)的一套标准指令。1988年年MIDI制造商协会正式颁布制造商协会正式颁布MIDI技技术规范,作为数字式音乐的国际标准。术规范,作为数字式音乐的国际标准。规定每种规定每种MIDI装置由一个接收器和一个发装置由一个接收器和一个发送器组成。规定送器组成。规定MIDI键盘为键盘为128键。在键。在MIDI
12、接收器中有接收器中有16个通道,它可以向声音个通道,它可以向声音合成器传送合成器传送16路不同的声音等。路不同的声音等。(2)MP3数码音乐数码音乐MP3的全称是的全称是MPEG-1 Layer3音频文件。音频文件。MPEG音频编码是国际上公认的高保真立体音频编码是国际上公认的高保真立体声音频压缩标准。声音频压缩标准。MPEG-1声音标准其音频编码分为声音标准其音频编码分为3层:层:Laer-1、Layer-2和和Layer-3。Layer 3的压缩比为的压缩比为1:101:12,压缩码率,压缩码率可以达到可以达到64kb/s。3.3 音频信号压缩编码音频信号压缩编码音频信息编码技术可分为三类
13、:音频信息编码技术可分为三类:u波形编译码器(波形编译码器(waveform coder):):波形编码是基于对语音信号波形的数字化处波形编码是基于对语音信号波形的数字化处理,试图使处理后重建的语音信号波形与原语理,试图使处理后重建的语音信号波形与原语音信号波形保持一致。音信号波形保持一致。例如例如PCM、DPCM、ADPCM等。等。u音源编译码器(音源编译码器(Source coder):也叫):也叫参数编译码器、声码器(参数编译码器、声码器(vocoder)。)。它从话音波形信号中提取话音生成模型的参它从话音波形信号中提取话音生成模型的参数,使用这些参数通过话音生成模型重构出数,使用这些参
14、数通过话音生成模型重构出话音。话音。这种编码的特点是语音编码速率较低,基本这种编码的特点是语音编码速率较低,基本上在上在2kbits9.6kbits之间。之间。u混合编译码器(混合编译码器(Hybrid coder):综):综合使用上述两种技术。使用的激励信号波合使用上述两种技术。使用的激励信号波形尽可能接近于原始话音信号的波形。形尽可能接近于原始话音信号的波形。采用混合编码的编码器有:采用混合编码的编码器有:多脉冲激励线性预测编码器(多脉冲激励线性预测编码器(MPE-LPC),规则脉冲激励线性预测编码器),规则脉冲激励线性预测编码器(RPE-LPC)等。)等。一、脉冲编码调制(一、脉冲编码调
15、制(PCM)Pulse Code Modulation若输入的音频信号是话音信号,使用若输入的音频信号是话音信号,使用8 kHz采样频率进行均匀采样,而后再将每采样频率进行均匀采样,而后再将每个样本编码为个样本编码为8位二进制数字信号,则我们位二进制数字信号,则我们就可以得到数据率为就可以得到数据率为64 kb/s的的PCM信号,信号,这就是典型的脉冲编码调制。这就是典型的脉冲编码调制。PCM的量化方式的量化方式均匀量化与非均匀量化均匀量化与非均匀量化u非均匀量化非均匀量化对小信号采用小的量化间隔,对大信号采用对小信号采用小的量化间隔,对大信号采用大的量化间隔。大的量化间隔。对大信号,由于:对
16、大信号,由于:(1)大信号出现的机会不多)大信号出现的机会不多(2)信噪比(相对误差)与小信号是一致的)信噪比(相对误差)与小信号是一致的所以对总的话音质量影响不大。所以对总的话音质量影响不大。非均匀量化也是一种压缩。非均匀量化也是一种压缩。律压扩与律压扩与A律压扩律压扩 律律(-Law)压扩压扩(G.711)主要用在北主要用在北美和日本等地区的数字电话通信中。美和日本等地区的数字电话通信中。x 为输入信号,规格化为为输入信号,规格化为1=x=1 为确定压缩量的参数,它反映最大量化为确定压缩量的参数,它反映最大量化间隔和最小量化间隔之比,取间隔和最小量化间隔之比,取100=500。A律律(A-
17、Law)压扩压扩(G.711)主要用在欧洲主要用在欧洲和中国大陆等地区的数字电话通信中。和中国大陆等地区的数字电话通信中。0=|x|=1/A1/A=|x|=1PCM与时分多路复用(与时分多路复用(TDM)二、差分脉冲编码调制(二、差分脉冲编码调制(DPCM)基本出发点:对相邻样值的差值进行量基本出发点:对相邻样值的差值进行量化编码。化编码。在具体的实现过程中,是对样值与对应在具体的实现过程中,是对样值与对应的预测值的差值进行量化编码的。的预测值的差值进行量化编码的。对一个话音信号的样值序列,当前样值对一个话音信号的样值序列,当前样值的预测值可以由其前面的若干个样值来的预测值可以由其前面的若干个
18、样值来进行预测,若样值序列表示为:进行预测,若样值序列表示为:NNyyyy,121Ny 为当前值,则对当前样值完整的预测为当前值,则对当前样值完整的预测表达式由下式表示:表达式由下式表示:NiiiNNNyayayayay1112211当前值与预测值的差为:当前值与预测值的差为:式中式中,ai 为预测系数。如果为预测系数。如果ai是常数,则是常数,则为时不变线性预测;为时不变线性预测;否则若预测系数随输入信号而变化时就是否则若预测系数随输入信号而变化时就是自适应预测。自适应预测。NNyye0量化器预测器xkekekxkxk-自适应预测逆量化器自适应量化阶ek产生误差编码过程编码过程逆量化器预测器
19、ekekxkxk译码过程译码过程x0121123344x0012112334e011-1011010最简单的最简单的DPCM三、增量调制三、增量调制(M)增量调制增量调制(delta modulation,DM)是一是一种预测编码技术,是对实际的采样信号与种预测编码技术,是对实际的采样信号与预测的采样信号(在编码端由前一个输入预测的采样信号(在编码端由前一个输入信号的编码值经解码器解码可得到下一个信号的编码值经解码器解码可得到下一个信号的预测值)之差的极性进行编码,将信号的预测值)之差的极性进行编码,将极性变成极性变成“0”和和“1”这两种可能的取值之这两种可能的取值之一。一。如果实际的采样信
20、号与预测的采样信号之差如果实际的采样信号与预测的采样信号之差的极性为的极性为“正正”,则用,则用“1”表示;相反则用表示;相反则用“0”表示。表示。DM编码系统又称为编码系统又称为“1位系位系统统”。下图纵坐标表示输入的模拟电压,下图纵坐标表示输入的模拟电压,横坐标横坐标表示随时间增加而顺序产生的表示随时间增加而顺序产生的DM码。码。图中图中虚线表示输入的音频模拟信号。虚线表示输入的音频模拟信号。出现的问题:出现的问题:1、斜率过载、斜率过载当输入信号变化比较快时,编码器的输出无当输入信号变化比较快时,编码器的输出无法跟上信号的变化,从而会使重建的模拟信法跟上信号的变化,从而会使重建的模拟信号
21、发生畸变,这就是所谓的号发生畸变,这就是所谓的“斜率过载斜率过载”。2、散粒噪声、散粒噪声当输入信号没有变化时,预测信号和输当输入信号没有变化时,预测信号和输入信号的差会十分接近,这时,编码器入信号的差会十分接近,这时,编码器的输出是的输出是0和和1交替出现的,这种现象就交替出现的,这种现象就叫做增量调制的叫做增量调制的“散粒噪声散粒噪声”。四、自适应增量调制四、自适应增量调制(ADM)在在ADM中,中,常用的规则有两种:常用的规则有两种:一类是控制可变因子一类是控制可变因子M,使量化阶距,使量化阶距在一定范围内变化。对于每一个新的在一定范围内变化。对于每一个新的采样,其量化阶距为其前面数值的
22、采样,其量化阶距为其前面数值的M倍。而倍。而M的值则由输入信号的变化率的值则由输入信号的变化率来决定。来决定。一类使用较多的自适应增量调制称为连一类使用较多的自适应增量调制称为连续可变斜率增量(续可变斜率增量(CVSD)调制。)调制。其工作原理如下:其工作原理如下:如果调制器(如果调制器(CVSD)连续输出三个相同的码,连续输出三个相同的码,则量化阶距则量化阶距加上一个大的增量,加上一个大的增量,也就是说,也就是说,因为因为三个连续相同的码表示有过载发生。三个连续相同的码表示有过载发生。五、自适应脉冲编码调制(五、自适应脉冲编码调制(APCM)六、自适应差分脉冲编码调制(六、自适应差分脉冲编码
23、调制(ADPCM)综合了综合了APCM的自适应特性和的自适应特性和DPCM系统系统的差分特性。的差分特性。ADPCM是利用样本之间的高度相关性和量化是利用样本之间的高度相关性和量化台阶自适应来压缩数据的一种波形编码技术。台阶自适应来压缩数据的一种波形编码技术。CCITT为此制定了为此制定了G.721推荐标准(推荐标准(32 kb/s ADPCM)。)。在此基础上制定了在此基础上制定了G.721的扩充推荐标准的扩充推荐标准G.723,使用该标准的编码器的数据率可降,使用该标准的编码器的数据率可降低到低到40 kb/s和和24 kb/s。七、子带编码七、子带编码图中发送端的图中发送端的n个带通滤波
24、器将输入信个带通滤波器将输入信号分为号分为n个子频带,对各个对应的子带个子频带,对各个对应的子带带通信号进行调制,将带通信号进行调制,将n个带通信号经个带通信号经过频谱搬移变为低通信号;过频谱搬移变为低通信号;对低通信号进行采样、量化和编码,得对低通信号进行采样、量化和编码,得到对应各个子带的数字流;再经复接器到对应各个子带的数字流;再经复接器合成为完整的数字流。经过信道传输到合成为完整的数字流。经过信道传输到达接收端。达接收端。在接收端,由分配器将各个子带的数字流在接收端,由分配器将各个子带的数字流分开,由译码器完成各个子带数字流的译分开,由译码器完成各个子带数字流的译码;由解调器完成信号的
25、频移,将个子带码;由解调器完成信号的频移,将个子带搬移到原始频率的位置上。搬移到原始频率的位置上。各子带相加就可以恢复出原来的语声信号。各子带相加就可以恢复出原来的语声信号。将语声信号分为若干个子带后再进行编码的将语声信号分为若干个子带后再进行编码的优点:优点:对不同的子带分配不同的比特数可以很好对不同的子带分配不同的比特数可以很好的控制各个子带的量化电平数,很好的控的控制各个子带的量化电平数,很好的控制在重建信号时的量化误差方差值,进而制在重建信号时的量化误差方差值,进而获得更好的主观听音质量。获得更好的主观听音质量。由于各个子带相互隔开,使各个子带的量由于各个子带相互隔开,使各个子带的量化
展开阅读全文