多媒体技术课件-第6章.ppt

1、第六章 多媒体内容管理 n多媒体数据管理环境 n多媒体数据库管理系统n面向对象技术与MDBMSn基于内容的检索技术n多媒体内容安全与版权保护6.1 多媒体数据管理环境 多媒体系统对数据进行有效管理:n能尽量减少开发费用；n便于综合利用、数据共享,降低成本、提高效益；n对提高多媒体应用程序的执行效率和运行质量。多媒体数据的存储环境n对多媒体数据的存储环境总的要求是: 容量大、质量好、存取速度快、价格合适。n主要有4类存储介质： (1)可更换的硬盘; (2)磁带备份介质; (3)光盘档案介质; (4)磁盘阵列。多媒体数据的传输环境 一般有3种传输方法:(1)使用可更换的介质进行人工传输。使用软盘、

2、磁带、光盘、可更换硬盘等工具;(2)使用串行端口实行点对点传输。成本低, 但难以实现多台计算机之间数据传输;(3)使用网络系统,实现计算机之间传输。多媒体数据管理的软件环境 对多媒体数据资源的有效管理方法:(1)文件管理系统 (2)建立特定的逻辑目录 (3)传统的字符、数值数据库管理系统(4)多媒体数据库管理系统 (5)超文本和超媒体 6.2 6.2 多媒体数据库管理系统多媒体数据库管理系统 n依据独立性原则, DBMS按层次划分为3种模式: 物理模式、概念模式和外部模式。n物理模式定义数据存储组织方法, 如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方法等(存储模式)。n概念模式

3、借助数据模型来描述,它定义抽象现实世界的方法。数据库模型先后经历了网状模型、关系模型和面向对象模型等阶段。n外部模式又叫视图,它是概念模式对用户有用的那一部分。 DBMS的3层模式 数据库物理模式概念模式外部模式用户用户用户多媒体数据对数据库的影响(1)数据量大且媒体之间差异也极大,从而影响数据库中的组织和存储方法。(2)媒体种类增多增加了数据处理困难。 (3)多媒体不仅改变了数据库的接口,使其声、文、图并茂,而且也改变了数据库的操作形式,其中最重要的是查询机制和查询方法。(4)传统的事务一般都是短小精悍,在多媒体数据库管理系统中也应尽可能采用短事务。为保证播放不致中断,MDBMS应增加这种处

4、理长事务的能力。(5)多媒体数据库管理还有考虑版本控制的问题。6.2.2 MDBMS的功能要求 (1) MDBMS必须能表示和处理各种媒体数据,重点是不规则数据如图形、图象、声音的表示方法。 (2) MDBMS必须能反映和管理各种媒体数据的特性,或各种媒体数据之间的空间或时间的关联。 (3) MDBMS除必须满足物理数据独立性和逻辑数据独立性外,还应满足媒体数据独立性。 物理数据独立性指当物理数据组织改变时,不影响概念数据组织。 逻辑数据独立性指概念数据组织改变时,不影响用户程序使用的视图。媒体数据独立性指在MDBMS的设计和实现时,要求系统能保持各种媒体独立性和透明性。(4) MDBMS的数

5、据操作功能。(5) MDBMS的网络功能。应解决分布在网络上的多媒体数据库中数据的定义、存储、操作问题,并对数据一致性、安全性、并发性进行管理。(6)MDBMS应具有开放功能,提供MDB的应用程序接口API,并提供独立于外设和格式的接口。(7) MDBMS还应提供事务和版本管理功能。 6.2.3 MDBMS的组织结构 MDBMS的组织结构一般可分为3种:n集中型n主从型n协作型 集中型MDBMS n由一个MDBMS来管理和建立不同媒体的数据库,并由这个MDBMS来管理对象空间及目的数据的集成。MDBMS 图象数据库 图形数据库 音频数据库 文本数据库 视频数据库从MDBMS从MDBMS从MDB

6、MS从MDBMSMDBMSMDBMS某种MDB某种MDB某种MDB某种MDB多媒体数据库主从型MDBMS 协作型MDBMS n协作型MDBMS也是由多个数据库管理系统来组成, 每个数据库管理系统之间没有主从之分.n要求系统中每个数据库管理系统(称为成员MDBMS)能协调地工作,但因每一成员MDBMS彼此有差异, 所以在通信中必须首先解决这个问题。 成员 MDBMS 成员 MDBMS 成员 MDBMSMDBMS 某种MDB 某种MDB 某种MDB 附加软件 附加软件 附加软件 多媒体数据库6.2.4 MDBMS的数据模型 n数据模型的概念n扩充的关系数据模型n应用实例数据模型的概念 n数据模型通

7、常由数据结构、数据操作和完整性约束三部分组成, 也称数据模型三要素。n数据结构数据结构是对数据库系统静态特性的描述,是所研究的对象类型的集合。这些对象是数据库的组成成分。n数据库系统通常按数据结构的类型来命名数据类型, 如层次模型、网状模型、关系模型和面向对象模型。 n数据操作数据操作是对数据库系统动态特性的描述,如数据库中各种对象的实例、允许执行的操作集合。n数据的约束条件约束条件是实现数据库完整性规则的集合,所谓完整性规则是指给定的数据模型中数据及它们之间关联所具有的制约和依存规则,用以限定符合数据模型的数据库状态以及状态的变化, 以保证数据库数据的正确、有效、相容和一致。n数据模型应该提

8、供定义数据完整性约束条件的机制,以反映数据必须遵守的特定的语义约束条件。 n早期DBMS采用层次模型,它利用树型结构来表示实体及实体之间联系。模型中节点为记录型,表示某种类型的实体;节点之间的连线表示它们之间的关系。 n 层次模型构造简单,易于实现。典型的应用如公司、大学的行政架构表示。n 基于层次模型的数据库称为层次数据库,它支持用户以浏览方式完成对数据访问,对子节点记录的访问需经过父节点。n 层次模型的限制是：任何非根节点的节点有且仅有一个父节点; 父子节点只能是1：n关系, 不能表示两类实体间的m：n关系。 n利用网状结构来表示实体与实体之间联系的数据模型称为网状模型, 其节点为记录型,

9、 用于表示某类实体。n允许节点有多个父节点, 比层次模型更通用。基于网状模型的网状数据库管理系统也主要支持用户以浏览的方式完成对数据记录的访问,但由于节点可有多个父节点, 对网状数据库中某节点的访问路径可以有多条。 n层次和网状数据库管理系统均不支持数据独立性。数据库结构的调整将使应用随之变化,这就限制了数据库系统及其应用的可扩展性、可重用性及可移植性。n关系模型克服了上述两种模型的缺陷, 利用二维的表来表示实体及实体之间的关系, 每张二维表又称为一个关系。n二维表每一列代表实体以及实体之间关系的某种属性。属性名的集合如C1, C2, , Cn表示某种记录类型。每一列除了具有属性名外, 还具有

10、类型特征, 该特征决定了属性的取值范围,称为域。这种表可直接描述两个实体类型间的m: n关系。 n关系模型可通过关系代数严格定义。一张二维表可定义为一组域的笛卡儿积的子积。域D1, D2, , Dn的笛卡儿积定义为: D1D2Dn=(C1,C2, , Cn)|CiDi, i=1,2,nn关系R可表示为: R D1D2Dn, n为关系的度。一个关系的结构可表示为 R:(C1:D1, C2:D2,Cn:Dn) 其中Ci(i=1,2,n)为属性名。nRDBMS对数据的各种操作归结为各种集合运算。n除了支持传统的集合运算之外, 还定义了专门的关系运算,如投影、选择、连接等。n它还利用一阶谓词逻辑来判断

11、表中元组是否满足用户定义的条件。用户定义的条件由逻辑运算符(and)、(or)、(not)连接各算术表达式组成。n关系代数和一阶谓词演算构成了RDBMS支持的数据库接口语言SQL的基础。 扩充的关系数据模型 n扩充的原因： 传统的关系模型结构简单,是单一的二维表, 数据类型和长度也被局限在一个较小的子集中,又不支持新的数据类型和数据结构, 很难实现空间数据和时态数据,缺乏演绎和推理操作, 因此表达数据特性的能力受到限制。n在MDBMS中使用关系模型, 必须对现有的关系模型进行扩充,使它不但能支持格式化数据,也能处理非格式化数据。 n模型扩充主要有3种策略(1)使关系数据库管理技术和操作系统中文

12、件系统功能相结合, 实现对非格式化数据的管理。其主要方法是以存放非格式化数据的文件名代替。 (2)将关系元组中格式化数据和非格式化数据装在一起形成一个完整的元组,存放在数据页面或数据页面组中,统一管理(大系统采用)。 (3)将元组中非格式化数据分成两部分,一部分是格式化数据本身,另一部分是对非格式化数据的引用(小系统采用)。n3种策略的关键是要扩充数据类型, 解决非格式化数据的语义解释。 n Borland Paradox增加了4种数据类型: 动态注释、格式注释、图形和大二进制对象(Blob)。OLE类型是Blob的一种特殊格式, 可使Paradox用作一个OLE主机。 nMicrosoft

13、FoxPro是在DBase基础上发展起来的。为了处理多媒体数据, FoxPro2.5引入一个新的属性类型General,它可以容纳任何一种多媒体数据,包括文本、图形、图象或声音数据。 应用实例 n某公司需要用Oracle8.1.6数据库管理雇员资料, 雇员信息包括工号、年龄、性别、月工资、所在部门、该部门经理、雇员的免冠照片等属性。 n此例中雇员照片属性的存储可利用Oracle数据库提供的LOB属性类型实现的。nLOB (Large Object)就是存储大对象的属性类型, 当数据量过大不能直接存入数据库中时, 可以使用LOB属性类型。 6.3 面向对象技术与MDBMS n面向对象的基本概念n

14、面向对象的数据库模型 n面向对象数据库系统的实现方法 面向对象的基本概念(1)对象 是问题领域中的事物的表示或描述,世界上任何事物都是对象。对象具有名字标识,并具有自身的状态和功能。(2)属性 组成对象的数据称为对象的属性。对象的属性可以是系统或用户定义的数据类型,也可以是抽象数据类型。状态由属性描述。(3)方法 定义在对象属性上的一组操作称为对象的方法,方法体现了对象的行为功能。(4)对象类 类描述的是具有相似性质(属性)的一组对象, 这组对象具有一般行为(操作), 一般关系(对象之间的)及一般语义. (5)子类和超类 类可以分成若干子类,这个被分成若干子类的类称为超类,子类和超类在层次上可

15、理解为“被概括”与“概括”的关系。(6)消息 在面向对象系统中,对象间的通讯和请求对象完成某种处理工作是通过消息传递实现的,消息传递相当于一个间接的过程调用。(7)继承性 子类不仅可以继承超类对象的部分或全部属性和方法, 还可以拥有自己的属性和方法。继承性具有双重作用,一是可以减少代码冗余; 二是可以通过协调性来减少相互之间的接口。 面向对象的数据库模型 (1)面向对象模型支持“聚合”与“概括”的概念,从而更好地处理多媒体数据等复杂对象的结构语义。(2)而向对象模型支持抽象数据类型和用户定义的方法,便于系统支持定义新的数据类型和操作。(3)面向对象系统的数据抽象、功能抽象与消息传递的特点使对象

16、在系统中是独立的, 具有良好的封闭性, 封闭了多媒体数据之间的类型及其它方面的巨大差异, 并且容易实现并行处理, 也便于系统模式的扩充和修改。 (4)面向对象系统的对象类、类层次和继承性的特点,不仅减少了冗余和由此引起的一系列问题,还非常有利于版本控制。(5)面向对象系统中实体是独立于值存在的,因而避免了关系数据库中讨论的各种异常。(6)面向对象系统的查询语言通常是沿着系统提供的内部固有联系进行的,避免了大量的查询优化工作。面向对象数据库系统的实现方法 面向对象数据库和扩展关系数据库系统不同,它倾向于以数据模型入手,重新考虑不同于传统DBMS的系统整体结构、对象类层次的存储结构、存取方法和继承

17、性的实现方法、用户定义的数据类型和方法的处理策略、必要的版本控制和友好的用户界面,建立一个全新的 DBMS。 n根据系统模型的功能,设计适当的系统结构是面向对象的DBMS实现的重要环节。 n由MCC公司研制的ORION系统由4个子系统构成:(1)消息处理子系统 (2)对象子系统 (3)存储子系统 (4)事务管理子系统 ORION系统结构图 消息处理子系统对象子系统事务子系统 存储子系统ORION nORION-1SX是一个客户机/服务器数据库系统,它有一个专用的服务器管理整个数据库系统,而应用系统运行的所有其它节点(客户)同这个服务器进行通信来存取数据库。n对象子系统和消息子系统完全放置在客户

18、机上。另一方面,通讯子系统以及部分事务和存储子系统既放置于客户机又放置于服务器中,通讯子系统负责打开、关闭和控制连接, 接收和传递客户机和服务器之间的消息。 nORION-2是一个基于网络的分布式数据库系统, 它由一个以上的节点进行管理，使得数据库的物理布局对用户来说是透明的。ORION-1SX系统的功能单元 消息处理子系统 对象子系统 事务子系统 存储子系统通信子系统服务器事务子系统服务器存储子系统服务器客户机面向对象系统Irisn除了一般的数据永久性、控制共享、后缓和恢复的需求之外，新需求的功能包括：丰富的数据建模结构、对推理的直接数据库支持、新的数据类型、长事务处理以及数据的多版本。n数

19、据共享必须在对象级别上以并行共享和串行共享两者的意义上实现，允许一个给定的对象能够由用不同的面向对象的编程语言编写的应用来操作。Iris正是面向上述需要进行设计。 Iris系统结构 对象 SQL 图形编辑器C对象CirisLisp对象LispIris对象管理器存储管理器结构化数据非结构化数据 n面向对象的数据库系统的存储结构和存取方法 (1) 基于关系系统的方法。 (2) 更适合多媒体数据特点的存储结构和存取方法 。比较适合多媒体数据特点的存储结构和存取方法有EXODUS系统的B+树索引结构、适合多维空间对象的R+树索引结构等。 6.4 基于内容的检索技术 6.4.1 相关概念 n数据库系统中

20、,数据检索是一种频繁使用的任务。多媒体数据库数据量大,数据种类多,给数据检索带来了新的问题。n多媒体数据库包含大量的图象、声音、视频等非格式化数据,对它们的查询或检索比较复杂,往往要根据媒体中表达的情节内容进行检索。n基于内容的检索(CBR)就是针对多媒体信息检索使用的一种重要技术 。基于内容的检索技术的特点 (1) 从媒体内容中提取信息线索, 直接对媒体进行分析, 抽取特征(如基于表达式)。(2) 提取特征方法多种多样。如图象特征有形状、颜色、纹理、轮廓等特征。(3) 人机交互。人能迅速分辨要查找的信息, 但难以记住信息, 人工大量查询费时、重复, 而这正是计算机的长处, 人机交互检索可大大

21、提高多媒体数据检索的效率。(4) 基于内容的检索采用一种近似的匹配技术。提取媒体对象内容属性的方式一般有手工方式、自动方式和混合方式。媒体特征n音频音频 常利用的音频特征包括基音,共振峰,线性预测倒谱系数、Mel倒谱系数(基于高斯混合模型的语音识别)等音频低层特征,和声纹、关键词等高层特征。n静态图象静态图象 其底层特征包括颜色,纹理,几何形状,灰度统计特征; 高层特征包括人脸部特征,表情特征,物体和景物特征。n视频视频 其底层特征包括镜头切换类型,特技效果,摄象机运动,物体运动轨迹,代表帧,全景图等;高层特征包括描述镜头内容的事件等。n文本文本 关键词常被选为文本对象的内容属性。n图形图形

22、几何体各种形状特征、周长、面积、位置、几何体间空间关系的类型等,常被选为图形内容属性。6.4.2 基于内容的检索实现方法 n一是基于传统的数据库检索方法,即采用人工方法将多媒体信息内容并表达为属性(关键词)集合,再在传统的数据库管理系统框架内处理。这种方法对信息采用了高度抽象,留给用户选择余地小,查询方式和范围有所限制。n二是基于信号处理理论, 即采用特征抽取和模式识别的方法来克服基于数据库方法的局限性,但全自动地抽取特征和识别时间开销太大,并且过分依赖于领域知识,识别难度大。 系统实现 n在CRB系统中采用的有效方法包括相似性、模糊值、分段化等技术,下面以视觉信息管理系统(VIMS)为例介绍

23、CRB系统的实现 。系统结构系统结构交互查询 模块 查询 格式化新的图象插入模块数据（图象） 处理模块知识模块图象DB特征DB用户查询方法 视觉例程图像插入查询图像被存储的特征值查询特征 计算相似性6.4.3 图像内容分析及其检索n 基于颜色直方图检索n 基于轮廓的检索n 基于纹理的检索n 视频检索6.4.4 MPEG-7标准nMPEG-1,2,4解决在多媒体高效存储、传输和处理声音图象信息问题。但还没有能解决多媒体信息检索问题的工具。nMPEG-7标准即“多媒体内容描述接口”。其目标就是产生一种描述多媒体信息的标准,满足实时、非实时以及推-拉应用的需求。并将该描述与所描述的内容相联系, 以实

24、现快速有效的检索。 nMPEG-7标准可独立于其它MPEG标准使用,但MPEG-4所定义的音频、视频对象的描述适用于MPEG-7。MPEG-7适用范围广泛, 既可应用于存储,也可用于流式应用。可在实时或非实时环境应用。 MPEG-7的相关概念n数据(Data) MPEG-7描述的多媒体信息, 包含图形、静止图像、视频、音乐、语音、文本和其它相关的媒体。n特征(Feature) 指数据的特性。特征本身不能比较，而要用有意义的特征表示(描述子)和它的实例(描述值)。如图像的颜色、语音的声调、音频的旋律等。 n描述子(Descriptor,D) 是特征的表示。它定义特征表示的句法和语义,可以赋予描述

25、值。一个特征可能有多个描述子，如颜色特征可能的描述子有：颜色直方图、频率分量的平均值、运动的场描述、标题文本等。 n描述值(Descriptor Value) 是描述子的实例。描述值与描述模式结合, 形成描述。 n描述模式(Description Scheme,DS) 说明其成员之间的关系结构和语义。成员可以是描述子和描述模式。DS和D的区别是：D仅仅包含基本的数据类型，不引用其他D或DS。如影片从时间上结构化为场景和镜头,在场景级包括一些文本描述子,在镜头级包含颜色、运动和一些音频描述子。 n描述(Description) 由一个描述模式和一组描述值组成。 n编码的描述(Coded Desc

26、ription) 是对已完成编码的描述,满足诸如压缩效率、差错恢复和随机存取的相关要求。 n描述定义语言(DDL) 一种允许产生新的描述模式和描述子的语言,允许扩展和修改现有的描述机制。 n图中解释MPEG-7在实际系统中的位置。DDL提供建立描述模式的机制,然后将描述模式作为基础，产生一个描述。 nMPEG-7描述可附在多媒体素材之后,具有此种附加信息的存储素材就可以被方便地索引和搜索。n尽管MPEG-7描述与被描述内容的表达方式无关,但在一定程度上还是依赖于MPEG-4标准。 n标准化描述可以在若干个不同的语义层上进行。 针对不同类型、不同应用的多媒体信息。 以视频内容为例: 低抽象的语义

27、层可以是对场景中物体的形状、大小、纹理、色彩和位置的描述。 而最高抽象的语义层则以高效编码的形式给出语义信息，如:“这是一个位于左侧的棕色狗和一个在右侧并下落着的篮色球的场景”。也可以有中间层存在。 n 根据MPEG一贯坚持的“制定最少的、最有用的”原则，MPEG-7主要集中在对信息分类的表达方法进行标准化。而特征提取算法、声音图象内容识别工具不属于MPEG-7标准的界定范围。同样搜索机制、音频或视频回放技术也不包括在MPEG-7标准中。n开发声音图象内容识别工具、特征抽取工具、搜索和音频视频回放工具是工业界的任务，他们会生产销售符合MPEG-7的产品。 MPEG-7应用领域 n数字图书馆(图

28、象目录,音乐字典) n多媒体目录服务(例如黄页号薄) n广播媒体选择(无线电频道, TV频道) n多媒体编辑(个人电子新闻服务,媒体写作) n在教育, 娱乐, 医疗应用, 地理信息系统等领域 6.5 多媒体内容安全与版权保护n数字内容安全的基本概念 n数字版权管理技术n数字水印技术 n基于内容的过滤技术 n微支付技术数字内容安全的基本概念 数字内容安全主要应保证内容的隐私性、完整性和真实性。保障数字内容安全的关键问题是：n(1) 数字内容的盗版贩卖和非法使用的问题: 数字版权管理技术, 采用加密手段对数字内容进行保护,使其只能在授权的情况下被使用；n(2) 非法及有害内容破坏和污染社会环境问题

29、: 基于内容的过滤技术, 采用文字识别、语音识别、图像识别、文本分类等模式识别的方法将非法或有害的内容进行过滤和封堵；n(3) 数字内容消费者的安全合理付费问题。 研究微支付技术, 基于公钥基础设施和第三方代理等平台来保证消费者资金的安全和合理地支付小额数字内容消费。 只讨论通过实现的DRM系统技术手段。DRM系统由3部分组成：n内容供应者(CP)：CP利用加密等技术对数字媒体文件进行保护，目前常用128位或156位的对称加密算法。n内容使用者(CU)：CU在访问CP网站服务器或通过光盘播放打包的数字媒体文件时，首先在自己的许可证库中查找所需要的许可证(解密密钥)，则向CU发放播放该数字文件的

30、许可证。许可证可根据需要设置有效期和不同的收费标准等。n许可证发放器(LS)：LS接到CU的许可证申请后，对用户的身份进行验证nOMA定义了3个DRM解决方案：转发锁定、组合传输和分别发送与超级分发。数字版权管理技术数字版权管理技术 将某些标识数据嵌入到原始媒体内容中作为水印,使得水印在数据中不可感知和足够安全。数字水印技术数字水印技术 数字内容的水印算法数字水印提取算法分发嵌入数字水印的媒体内容提取出来的水印信息密钥水印信息原始媒体内容被嵌入数字水印的媒体内容与嵌入算法对应的密钥n过滤的主要对象包括非法内容和有害内容, 如非法广告、黄色信息、惑众谣言、网络病毒、黑客攻击等。早期主要采用串匹配

31、的方法进行过滤，对象是有害文本信息和病毒。将模式识别、自然语言处理、机器学习等技术引入内容过滤。n图像和视频过滤方面，文字识别、人脸识别、人体识别、物体识别等图像识别技术是核心。对文件中包含的字牌、标语、广告等反映不同场景的文字，以及人脸、人体、物体等反映不同人物和事件的对象进行识别。获得这些关键信息后，便可以对图像和视频进行分类和过滤。 n音频过滤方面，包括语音识别、语种识别、语音关键词检测等。对新闻播报类文件，先通过语音识别技术将其转换为文本文件，利用文本过滤技术进行过滤。目前热点是噪声背景下的语音文件或歌曲音乐类文件的过滤。这类文件需要研究专用的方法。利用语种识别和语音关键词检测技术进行

32、过滤时，不需要转换成文本，而只是识别文件中的语音是不是指定的语种或是否包含指定的关键词。基于内容的过滤技术基于内容的过滤技术微支付系统的核心技术包括PKI技术和交易代理技术。nPKI技术对交易中所涉及各方标识符、交易数据等加密，以防止伪造身份、盗取密钥、破解消息等攻击的得逞。n通过交易代理技术，实现信用担保、身份认证和公平交易。交易代理通过可转移硬币等技术，最大限度地降低交易成本。微支付协议分为离线方式和在线方式两大类。n典型的离线微支付协议如MPTP、Payword和MiniPay，这些协议以消费者的信用为基础，消费者在真正付款之前就可以完成交易。n典型的在线微支付协议是Millicent. 微支付技术微支付技术 本章小结 n多媒体数据库系统的特点、结构和实现技术;n对多媒体信息进行有效管理的面向对象数据库的概念、特点和实现系统;n基于内容检索技术和MPEG-7标准;n多媒体内容安全与版权保护.