[文学研究]多媒体技术课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《[文学研究]多媒体技术课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 文学研究 文学 研究 多媒体技术 课件
- 资源描述:
-
1、多媒体技术多媒体技术上海理工大学计算机基础教研室2009.2相关知识相关知识一、多媒体技术所属学科计算机科学与技术计算机软件与理论计算机系统结构计算机应用技术人工智能专家系统数据库与MIS多媒体技术网络与通讯计算智能人机交互技术可视化技术二、多媒体技术涉及的交叉学科与技术1.图像处理技术2.计算机图形学3.数学4.物理学5.电子学6.仿生学7.数字化信息处理技术8.音频、视频技术9.可视化技术10.软件、硬件技术11.操作系统12.网络与通信13.人工智能14.人机交互技术15.模式识别概述概述 一、多媒体概念(concept of multimedia)1.媒体的概念及分类 媒体:媒体:信息
2、的多种多样的表现形式称为媒体。定义的媒体有5类:感觉媒体感觉媒体 如声音、图形、图像、文字、气味以及物体的质地、形状、温度、色彩等。表示媒体表示媒体 为了有效地加工、处理和传输感觉媒体而人为构造出的一类媒体:如对声音、图形、图像、文字、数据等信息的数字化编码表示。显示媒体显示媒体 分为输入显示媒体(键盘摄像机、话筒、扫分为输入显示媒体(键盘摄像机、话筒、扫描仪、数字化仪等)、输出显示媒体(显示器、描仪、数字化仪等)、输出显示媒体(显示器、发光管、打印机、绘图仪等)发光管、打印机、绘图仪等)存储媒体存储媒体 指存储设备,如磁盘、光盘、半导体存储器指存储设备,如磁盘、光盘、半导体存储器等。等。传输
3、媒体传输媒体 指传输介质,如线缆、光纤及其它通信信道。指传输介质,如线缆、光纤及其它通信信道。多媒体信息:多媒体信息:指图形、图像、文字、声音和视频信息及其载体。多媒体技术:多媒体技术:是能够实时地综合处理多媒体信息的技术。多媒体:多媒体:不仅指多钟媒体本身,还包括处理和应用多媒体信息的相应技术,因此“多媒体”常被人为是“多媒体技术”的同义词。多媒体计算机:多媒体计算机:具有多媒体处理技术功能的计算机称为多媒体计算机。2.多媒体的概念 信息媒体的多样化:信息媒体的多样化:视觉、听觉、触觉、嗅觉、味觉5个感觉空间,其中前3种占了媒体信息的95%。多样化体现在输入和输出两个方面。集成性:集成性:媒
4、体信息信息的集成集成和处理这些媒体的设备集成设备集成。交互性:交互性:交互性指更加有效地控制和使用信息的手段。能增加对信息的注意和理解、延长信息保存时间、使人们获取信息和使用信息的方式变被动为主动。3.多媒体的关键特点93.893.8:美国召开第一届多媒体国际会议。目前:目前:计算机及网络技术发展,多媒体在人机交互、自然语言理解、语音合成和识别、指纹和人像识别取得惊人发展并进入实用化阶段。4.多媒体发展简史8484年:年:Apple公司的Hyper Card,提出了bitmap位图、Icon图标的概念,可处理多媒体信息。8585年:年:Commodore公司研制的Amiga系统,包括动画制作、
5、音响处理和图形处理3个专用芯片。86.486.4:Philips/Sony联合推出光盘系统CD-I,,同时公布了CD-ROM的文件格式。可与计算机、家用电视机、录像机、音响设备连接。87.387.3:Intel/IBMIntel/IBM公司的公司的DVIDVI:DVI先由CRA公司推出,转让给IBM,后又转让给Intel公司。DVI用标准光盘存储和检索图像、动画、声音和其它数据。九一年获大奖。8080年代:年代:Xerox多媒体会议系统、Apple公司多媒体辅助教育项目、布朗大学的超媒体系统、MIT多媒体实验室很多研究项目。90.1190.11:Philips等14家公司成立多媒体市场协会,建
6、立MPC标准。娱乐娱乐教育与培训教育与培训多媒体办公系统多媒体办公系统身份鉴别身份鉴别通信通信工业领域与科学计算工业领域与科学计算医疗影像诊断系统医疗影像诊断系统咨询服务与广告咨询服务与广告电子出版物电子出版物5.多媒体的应用领域 数据量大数据量大 数据长度可变数据长度可变 多数据流多数据流 数据流的连续记录与数据流的连续记录与检索检索 连续采集和连续检索连续采集和连续检索6.多媒体的特性 文本文本 图形、图像图形、图像 视频视频 音频音频 动画动画7.多媒体的表现形式存储技术存储技术 存储面密度增长存储面密度增长50-60%/年,目前单个磁盘达到年,目前单个磁盘达到10TB,RAID磁盘阵列
7、容量更大。磁盘阵列容量更大。压缩编码与解码技术压缩编码与解码技术虚拟现实技术(虚拟现实技术(Virtual Reality,VR)多媒体数据库技术多媒体数据库技术网络与通信技术网络与通信技术智能多媒体技术(智能视听、智能表示与决策)智能多媒体技术(智能视听、智能表示与决策)多媒体信息检索(多媒体信息检索(asp,caj)8.多媒体关键技术 媒体及其分类媒体及其分类 多媒体及其关键技术多媒体及其关键技术 应用领域应用领域 人机交互人机交互 虚拟现实虚拟现实 多媒体技术在各领域应用的重要性多媒体技术在各领域应用的重要性9.复习题 多媒体信息的数字化 图形、图象信息的数字化和存储 矢量图优点:易移动
8、,缩放,旋转和扭曲等变换;放大不会出现马赛克现象。常用来做线框型的图画、工程制图、美术字等。与分辨率无关。常用软件:CorelDraw,Flash,Fireworks,3DSMAX 位图优点:由数字阵列信息组成。质量主要由图象的分辨率和色彩位数决定。适合表现含有大量细节的画面。常用软件:PHOTOSHOP具有多媒体功能的计算机具有多媒体功能的计算机多媒体信息的数字化多媒体信息的数字化 音频信息的数字化和存储 声音的振幅和频率 声波表示 波峰越高,声音越响,波峰间距越小,声调越高 身音的采样 按一定的时间间隔采集该时间点的音频信号幅度值,采用所得的数据以二进制的形式存储,播放时需要还原成模拟波形
9、。模拟声音的量化 采样得到的数据按一定的大小进行存储的过程便称为量化。量化级别可分为:8位,16位,32位。量化位数越大,声音的幅度分辨率就越高,还原时的声音品质就越好,占用空间也越大。多媒体信息的数字化 音频信息的数字化和存储 数字信号的编码和存储按一定的规则编码。编码位数=log2N (N为量化级)存储空间=(采样频率*量化位数)/8二、模拟语音信号的数字化二、模拟语音信号的数字化1.1.采样采样 模拟音频信号在时间上是连续波形,而数字音频信号是一个数据系列,在时间上不连续。把模拟声音变成数字声音时,首先需要对模拟音频信号每隔一个时间间隔取一个幅度值,这个过程称之为采样。声波实际上是连续信
10、号,或称连续时间函数X(t),用计算机处理这些函数时,必须先对连续信号采样,即按一定的时间间隔(T)取值,得到X(nT)(n为整数)T采样周期 1/T采样频率 X(n T)离散信号采样量化编码模拟音频数字音频 X(nT)是从连续信号上抽取的部分值,那么如何采样才能保证用X(nT)唯一确定地恢复x(t),即满足耐奎斯特(Nequist)采样定理:设连续信号X(t)的频谱为X(f),以采样间隔T采样得到离散信号X(nT),如果满足:T1/2 fc 或fc 1/2T则由X(nT)可唯一确定地恢复x(t)。其中 fc是信号的采样频率,当fN 1/2T时,fN 称为耐奎斯特频率,也叫采样截止频率。采样定
11、理采样定理 由X(nT)确定x(f):由X(nT)确定x(t):若采样频率小于fN,则X(nT)不能唯一地确定x(t)。)()(sinnT)(xX(t)nTtTnTtTnfnTjne2nT)(xTX(f)采样定理采样定理 任何一个不规则波形都可以用无穷个规则频率的任何一个不规则波形都可以用无穷个规则频率的波形叠加而成(傅氏变换、正弦变换、余弦变换的物波形叠加而成(傅氏变换、正弦变换、余弦变换的物理意义)。理意义)。采样信号的频谱:采样信号的频谱:X XT T(f)(f)是是 X(f)X(f)波形中各个频率的叠加。波形中各个频率的叠加。mcnmffTmff)2(X)(x)(XT采样原理采样原理
12、由于对模拟信号的采样所取得的数据只是音频信号幅度的模由于对模拟信号的采样所取得的数据只是音频信号幅度的模拟电压值,为了用数字化的值来表示电压,就要把电压值划分成拟电压值,为了用数字化的值来表示电压,就要把电压值划分成若干等级,每个等级可表示为一个数值,这就是量化。若干等级,每个等级可表示为一个数值,这就是量化。量化简单地说就是对声波波幅对应的电压分成级来表示,分量化简单地说就是对声波波幅对应的电压分成级来表示,分的级越多,数字声音质量就越高。通常用的级越多,数字声音质量就越高。通常用8 8位(位(256256级)或级)或1616位位(6553665536级)的方式来分级。级)的方式来分级。相同
13、采样频率情况下,量化维数越多,音效就越好;相同量相同采样频率情况下,量化维数越多,音效就越好;相同量化位数情况下,采样频率越高,声音效果越好。化位数情况下,采样频率越高,声音效果越好。通常我们把通常我们把8 8位(位(256256级)或级)或1616位(位(6553665536级)所表示的值级)所表示的值256256和和6553665536称为量化器。称为量化器。采样和量化的过程可由采样和量化的过程可由A/DA/D模数转换器来完成,每个模数转换器来完成,每个A/DA/D模数模数转换器的采样频率是固定的。播放时可由数模转换器将数字信号转换器的采样频率是固定的。播放时可由数模转换器将数字信号转换成
14、模拟信号。转换成模拟信号。量化量化 所谓编码,就是按照一定格式把离散的数字所谓编码,就是按照一定格式把离散的数字记录下来,并在有用数据中加入一些用于纠错、记录下来,并在有用数据中加入一些用于纠错、同步和控制数据。在数据回放时,可对适当错误同步和控制数据。在数据回放时,可对适当错误的数据纠正,然后播放。的数据纠正,然后播放。声音数据是以编码的形式存放和处理的。声音数据是以编码的形式存放和处理的。编码器传输、存储解码输入信号输出信号编码编码(1)PCM(Pulse Code Modulation)脉冲编码调制,1939由法国工程师Alec Reeves发明,即把连续的模拟信号转变成脉冲编码调制的信
15、号。PCM包括对连续信号采样、幅度的量化及用适当码字表示。按照量化方式的不同可以分为:均匀量化PCM 非均匀量化PCM 和自适应量化PCM 一般信号振幅小,则量化级降低;信号振幅大,则量化级增大。这样可以满足精度要求的情况下减少编码位数(2)DPCM(2)DPCM编码编码 这里,XN为tN时刻的亮度采样值;X”N 为根据tN时刻以前已知的像素亮度采样值X1,X2,X3,XN-1对XN所作预测值;eN =XN XN 为差值信号eN为量化器输出信号XN为接收端输出,XN =XN+eN因为:XN XN=XN(XN+eN)=(XN XN)eN =eN eN所以,DPCM系统中的误差来源是发送端的量化器
16、,而与接收端无关,若去掉量化器,使eN=eN,即实现信息保持编码。事实上,这种量化误差是不可避免的。(3)ADPCM(3)ADPCM编码编码 视频信息的数字化和存储 色彩空间表示RGB,YUV,YIQ 视频信息的数字化对标准的NTSC,PAL视频模拟信号,通过采用、量化、模数转换、色彩空间变换等过程进行视频信息的数字化。视频采集卡(1)主机 CPU 内存 高速缓存 总线(2)外部设备接口与驱动软件(3)外部设备具有多媒体功能的计算机具有多媒体功能的计算机一、多媒体系统组成 集成程度不断提高:系统级集成集成程度不断提高:系统级集成(on system)、主板级、主板级(on board)、芯片级
17、集成、芯片级集成(on chip)总线:总线:ISA(16bit,8Mhz,5Mb/s),EISA,VESA PCI(64bit)MMX技术(技术(MMX/166):MultiMedium Extentions 单指令多数据技术单指令多数据技术(SIMD),57条新指令、条新指令、8个个64bit宽的宽的MMX寄存器、寄存器、4种新的数据类型种新的数据类型 PII与与PIII:PIII又增加了又增加了70条新指令条新指令SSE(Streaming SIMD Extentions)PIV:4200万个晶体管(比万个晶体管(比PIII多多50%)新增新增144条多媒体指令(条多媒体指令(SSE2)
18、(1)CPU媒体处理芯片是可独立执行I/O处理的高速芯片,特点:体积小、功耗低、运算速度快、具有内部存储器、具有覆盖所应用领域的多种类型。Bill Gates预测:未来计算机只有3个主要元件,即存储模块、CPU、复杂I/O处理芯片(媒体处理芯片):Mpact、Trimedia、Mediaprocessor、TMS320C6X DSP数字信号处理器:DSP芯片(Digital Signal Processor)最高达16亿次/秒(2)媒体处理芯片 显卡显卡CGA:b/w:640X200;16c:320X200EGA:b/w:640X480;16c:640X200VGA:b/w:1024X768;
19、16c:800X600,256c:640X480HVGA:TVGAAGP图形加速器:把主存与显存直接连接,带宽32bit,速度:533Mb/秒加速芯片:16bit直到128bit,分辨率:640X480到1600X1200,色彩:16到16.7M真彩 声卡声卡8bits,16bits(声音从FM合成、表波合成、波导、杜比AC-3合成:多声道立体声的DVD播放标准)(3)多媒体设备接口与软件驱动程序)多媒体设备接口与软件驱动程序 视屏卡 具有MPEG-1和MPEG-2解码芯片,具有捕捉、压缩、存储、回放等功能 USB 通用串行总线(Universal Series Bus V1.1,V2.0),
20、速度从12Mb/s到480Mb/s;结点间距5米,最大距离100米,屏蔽双缴线连接;接口由两根电源线,两根信号线;即插即用,可热插拔。USB是基于令牌的总线,总线设备检测令牌中的地址确定操作设备,并进行数据发送,USB采用星型拓扑结构,内有集线器,最多可连接127个USB设备。(3)多媒体设备接口与软件驱动程序)多媒体设备接口与软件驱动程序(3)多媒体设备接口与软件驱动程序)多媒体设备接口与软件驱动程序 网卡 速度:10Mb/s,100Mb/s,1000Mb/s 接口:Rj45水晶口、BNC细缆口、AUI SCSI:50心接口 IDE:40心接口 影碟机(播放光碟)摄像机 录像机(录放磁带)电
21、视机 显示器(25,26,28,31,33,39)触摸屏 扫描仪 投影仪 FAX/MODEM 手写板 条码阅读器 音响设备 MIDI设备 音响 光盘 磁盘(磁盘阵列)打印机 通信设备 游戏手柄 鼠标、键盘 读卡器(4)多媒体外部设备大小:大小:14“,15”,17“,19”,21“点距:点距:0.39mm,0.33mm,0.31mm,0.28mm,0.26mm,0.25mm类型:电子阴极射线管类型:电子阴极射线管(CRT)液晶显示液晶显示(LCD,Liquid Crystal Display,2048X1536)等离子显示(等离子显示(PDP,Plasma Display,超大尺寸)超大尺寸)
22、显示器显示器分为:DRAM(动态内存,需要充电刷新)SRAM(不需充电刷新,速度快,成本高)ROM(只读)PROM(可编程ROM)EPROM(可紫外线察除的PROM)EEPROM(可电察除的PROM)Flash EPRO(直接可读写的PROM,BIOS)l内存内存高速缓存高速缓存 SRAM比DRAM快2到3倍,因此常称为外部高速缓存Cache。分为:分为:7种类型种类型RAID1:镜像结构:镜像结构RAID2:采用海明码的冗余纠错:采用海明码的冗余纠错RAID3:采用奇偶校验的冗余纠错,并行读写:采用奇偶校验的冗余纠错,并行读写RAID4:采用奇偶校验的冗余纠错,扇区读写:采用奇偶校验的冗余纠
23、错,扇区读写RAID5:采用奇偶校验的冗余纠错,扇区读写,:采用奇偶校验的冗余纠错,扇区读写,数据与冗余码同时写入扇区,适合事务处理数据与冗余码同时写入扇区,适合事务处理RAID6:采用奇偶校验的冗余纠错,扇区读写,:采用奇偶校验的冗余纠错,扇区读写,采用二维奇偶校验,可同时纠正两个盘的错误采用二维奇偶校验,可同时纠正两个盘的错误RAID7:在:在RAID6的基础上增加了高速缓存的基础上增加了高速缓存l磁盘阵列磁盘阵列(RAID)针式喷墨激光阵列l打印机打印机电阻式:屏幕是间隔0.25微米的两层透明导电层组成,触摸时,在X,Y点电阻变化。电容式:在触摸屏玻璃板上涂上金属层,触摸时电容发生变化,
24、格局连接的振荡器频率可计算位置红外线式:在屏幕四周成对安装红外发射与接收器,屏幕上形成红外阵列,当手指触摸时,可得出X、Y坐标。声表面波式:通过触摸屏、声波发生器、反射器、声波接收器组成。l触摸屏触摸屏指标:分辨率、亮度、尺寸指标:分辨率、亮度、尺寸使用:灯管最贵,使用时先开电源,电扇使用:灯管最贵,使用时先开电源,电扇工作,再开灯开关。关闭时:先关闭灯管工作,再开灯开关。关闭时:先关闭灯管电源,等电扇停止工作后,再关闭电源。电源,等电扇停止工作后,再关闭电源。l投影仪投影仪1.计算机总线有那些?计算机总线有那些?2.显示器有那些类型,显示原理及特点?显示器有那些类型,显示原理及特点?3.内存
25、有那些类型,特点?内存有那些类型,特点?4.USB设备的结构、性能参数?设备的结构、性能参数?5.MMX技术特点,不同类型的技术特点,不同类型的CPU的多的多媒体功能?媒体功能?6.什么是什么是DSP,具有那些优点?,具有那些优点?思考题:思考题:多媒体音频信号处理多媒体音频信号处理一、音频信号与质量 1.声音声音 是通过媒介传播的一种连续的波,叫声波。媒介可以是气体、液体或固体三种形式。2.音频信号的分类音频信号的分类 声波信号和超声波信号 3.声音信号基本参数声音信号基本参数 频率(周期)、幅度 频率:每秒钟波峰发生的数量(语音:3003000Hz)幅度:波峰相对于基线的距离,代表信号强弱
展开阅读全文