视觉的基本知识课件.ppt

1、第二章第二章 视觉的基本知识视觉的基本知识主要内容主要内容人类视觉系统的生理构造和工作方式人类视觉系统的生理构造和工作方式神经生理学神经生理学认知心理学认知心理学视觉系统的物理特性视觉系统的物理特性光度学光度学色度学色度学视觉系统的几何特性视觉系统的几何特性齐次坐标齐次坐标射影几何射影几何第一节第一节 人类生理视觉系统人类生理视觉系统1.1 人类生理视觉系统人类生理视觉系统人类所有的感觉当中，视觉具有特别重要人类所有的感觉当中，视觉具有特别重要的意义。研究表明，的意义。研究表明，80%80%以上的外界信息是以上的外界信息是由视觉系统所接收、处理和感知的；由视觉系统所接收、处理和感知的；视觉系统

2、所具有的各种功能使我们能够分视觉系统所具有的各种功能使我们能够分辨万物，感知它们的大小、形状、颜色、辨万物，感知它们的大小、形状、颜色、亮暗、远近和动静；亮暗、远近和动静；人类的视觉系统事实上指的就是眼人类的视觉系统事实上指的就是眼脑系脑系统。眼统。眼脑系统在完成上述这些视觉功能脑系统在完成上述这些视觉功能时涉及不同的视觉信息处理过程。时涉及不同的视觉信息处理过程。人类视觉的解剖结构人类视觉的解剖结构人类的视觉系统由以下四个部分组成人类的视觉系统由以下四个部分组成:眼球眼球;是一个相当复杂是一个相当复杂,精细的光学仪器精细的光学仪器,起到调节适当的光强起到调节适当的光强,折射率折射率.同时外界

3、的三维景物变换成二维的视网膜上的同时外界的三维景物变换成二维的视网膜上的投影投影眼底视网膜眼底视网膜;起到光电传感器的作用起到光电传感器的作用,吸收光量子吸收光量子,输出生物电流输出生物电流视觉通路视觉通路 将生物电信号经过平均与会聚转换成一束信号将生物电信号经过平均与会聚转换成一束信号,传送到传送到大脑皮层大脑皮层大脑皮层视觉区大脑皮层视觉区 工作机理非常复杂工作机理非常复杂 ,还没有被探明还没有被探明眼球构造眼球构造从人眼的构造可知，它的从人眼的构造可知，它的光路是由以下几部分组成：光路是由以下几部分组成：前眼房前眼房(角膜、水样液角膜、水样液)、虹膜和瞳孔、水晶体虹膜和瞳孔、水晶体、玻玻

4、璃体等。璃体等。人类的眼球是一个相当复杂人类的眼球是一个相当复杂,精细的光学仪器精细的光学仪器眼底视网膜眼底视网膜 视网膜包含感光细胞，水平细胞视网膜包含感光细胞，水平细胞,双极细胞和神经节细胞。双极细胞和神经节细胞。感光细胞，即杆体细胞和锥体细胞。锥体细胞是明视器官，它在光感光细胞，即杆体细胞和锥体细胞。锥体细胞是明视器官，它在光亮条件下发生作用，能分辨细节。共有三种锥体细胞亮条件下发生作用，能分辨细节。共有三种锥体细胞,对应三元色对应三元色.杆杆体细胞是暗视器官对弱光反应灵敏，在低照明情况下发生作用。但体细胞是暗视器官对弱光反应灵敏，在低照明情况下发生作用。但它不能感受颜色，对精细物象的辨

5、别也没有什么贡献。它不能感受颜色，对精细物象的辨别也没有什么贡献。水平细胞水平细胞.负责横向联系感光细胞负责横向联系感光细胞,起到平均调和信号的作用起到平均调和信号的作用.双极细胞双极细胞.锥体细胞和杆体细胞经水平细胞与双极细胞连接。一般情锥体细胞和杆体细胞经水平细胞与双极细胞连接。一般情况是每一个锥体细胞与一个双极细胞连接，这是为了在光亮条件下况是每一个锥体细胞与一个双极细胞连接，这是为了在光亮条件下便于精细地感受外界的刺激。而杆体细胞往往是几十个连接到一个便于精细地感受外界的刺激。而杆体细胞往往是几十个连接到一个双极细胞。这是为了在黑暗条件下能汇集外界微弱的光刺激双极细胞。这是为了在黑暗条

6、件下能汇集外界微弱的光刺激.神经节细胞神经节细胞.其细胞的视觉纤维通向大脑其细胞的视觉纤维通向大脑.视觉通路视觉通路第一视觉通路第一视觉通路 作用主要作用主要第二视觉通路第二视觉通路 作用微小作用微小光交叉光交叉:形成立体视差形成立体视差外膝体外膝体:作用尚不清楚作用尚不清楚,与形状与形状 深度深度 运动检测运动检测有关有关大脑皮层视觉区大脑皮层视觉区大脑皮层由约大脑皮层由约10101010个细胞组成根据功能分为若个细胞组成根据功能分为若干区。与视觉有关的有干区。与视觉有关的有：1717区区:称为主视觉区称为主视觉区,起到景物的光学特性处理作用起到景物的光学特性处理作用1818、1919区：对

7、二维的特征区：对二维的特征(形状、移动等形状、移动等)进行处理，进行处理，称为相关视觉区称为相关视觉区.2020、2121区：视觉的判断等高层处理。区：视觉的判断等高层处理。大脑皮层的工作机理非常复杂大脑皮层的工作机理非常复杂,目前有关它的工作目前有关它的工作过程仅能知道的是一切意识是和神经元的激活与过程仅能知道的是一切意识是和神经元的激活与抑制有关，因此有必要进一步对神经细胞单元作抑制有关，因此有必要进一步对神经细胞单元作一定的研究。一定的研究。人类视觉系统的组成人类视觉系统的组成 人类视觉的眼人类视觉的眼脑系统看成一个有生命的光学变换器和信脑系统看成一个有生命的光学变换器和信息处理系统，可

8、分为三个部分。第一部分是光学系统，息处理系统，可分为三个部分。第一部分是光学系统，由于有关的神经活动最少，因此最为简单；第二部分是由于有关的神经活动最少，因此最为简单；第二部分是视网膜。它把光信号转变成电信号，并进行某些细胞一视网膜。它把光信号转变成电信号，并进行某些细胞一级的处理。第一、第二两部分都在眼睛里。最后一部分级的处理。第一、第二两部分都在眼睛里。最后一部分是视觉信息处理，它实质上是代表从视网膜到大脑皮层是视觉信息处理，它实质上是代表从视网膜到大脑皮层的视觉通路上所完成的复杂处理的统称。的视觉通路上所完成的复杂处理的统称。视觉信息处理视网膜光学系统感知在大脑和到大脑的通路中在眼中电信

9、号输入图像光信号处理传导1.2 1.2 神经元及视觉神经结构神经元及视觉神经结构神经元细胞是由细胞体神经元细胞是由细胞体,输入机构输入机构(dentrites),和输和输出机构出机构(突触突触axon)组成组成.神经元的基本工作方式为激活与抑制两种状态。神经元的基本工作方式为激活与抑制两种状态。当输入端的生物电变化时，细胞体状态变化并产当输入端的生物电变化时，细胞体状态变化并产生一个相应的生物信号生一个相应的生物信号.神经元的工作方式神经元的工作方式Dentrites:x-;x为源信号为源信号,为权值为权值(双极性双极性),为阈值为阈值.细胞体细胞体:加法器加法器Axon:调频传送调频传送免除

10、噪声干扰和衰减影响免除噪声干扰和衰减影响神经元之间的传送神经元之间的传送在两个神经元的在两个神经元的dentrites和和axon之间有电解化学之间有电解化学物质物质,起到电容的作用起到电容的作用.1niiiiysignx视觉神经结构视觉神经结构感受野感受野:直接或间接影响某一特定神经细胞直接或间接影响某一特定神经细胞的光感受器细胞的全体的光感受器细胞的全体视觉神经细胞感受野模式视觉神经细胞感受野模式在视觉系统中，任何层在视觉系统中，任何层次或水平上的单个神经次或水平上的单个神经细胞均在视网膜上有一细胞均在视网膜上有一特定代表区域，在该区特定代表区域，在该区域上的光学刺激能影响域上的光学刺激能

11、影响该神经细胞的活动，这该神经细胞的活动，这个区域定义为该细胞的个区域定义为该细胞的视觉感受野。视觉感受野。视网膜神经节细胞的感视网膜神经节细胞的感受野结构是同心圆的、受野结构是同心圆的、中心和周边拮抗式的中心和周边拮抗式的同心圆感受野同心圆感受野同心圆感受野同心圆感受野人的视觉细胞存在视觉场结构人的视觉细胞存在视觉场结构.视点的中心区域存视点的中心区域存在正性细胞它们接收光能并产生一个正的反应。在正性细胞它们接收光能并产生一个正的反应。在该中心区域周围存在着负性细胞它们在接收在该中心区域周围存在着负性细胞它们在接收光能时产生相反的反应。负性细胞随中心距增大光能时产生相反的反应。负性细胞随中心

12、距增大而迅速稀疏，代之而起的中性细胞不产生任何反而迅速稀疏，代之而起的中性细胞不产生任何反应。这种解释由诺贝尔奖金获得者应。这种解释由诺贝尔奖金获得者HartlineHartline得到得到证实。证实。这种场结构所产生的视觉反应可由这种场结构所产生的视觉反应可由”墨西哥草帽墨西哥草帽”来表示来表示.这种场结构可以使人的视觉具有侧抑制作用，它这种场结构可以使人的视觉具有侧抑制作用，它使观察物体时保证使观察物体时保证“集中注意力集中注意力”即把视觉活即把视觉活动集中在注意圈内，不受圈外的变化所干扰。动集中在注意圈内，不受圈外的变化所干扰。感受野同心圆拮抗式模型感受野同心圆拮抗式模型 （Rodiec

13、k,1965）同心圆感受野工作原理同心圆感受野工作原理同心圆感受野工作原理同心圆感受野工作原理发现问题了吗?非经典感受野的发现非经典感受野的发现视觉系统中的反演集合结构现象的研究非经典感受野中的一些数学拓扑结构,刘建忠,中国科技论文在线,20073.3.图像特征与视觉生理结构的关系图像特征与视觉生理结构的关系色彩色彩三元色与三种锥体细胞相对应三元色与三种锥体细胞相对应视觉接受场存在有侧抑制作用视觉接受场存在有侧抑制作用,两种互相抑制色块的交两种互相抑制色块的交界处会产生色彩增强的感觉界处会产生色彩增强的感觉形状形状形状是由线条形状是由线条,边缘等特征组成边缘等特征组成大脑皮层中的两种细胞大脑皮

14、层中的两种细胞:简单细胞和复杂细胞简单细胞和复杂细胞简单细胞简单细胞-使用位置和方向使用位置和方向-复杂细胞复杂细胞-使用方向和中心使用方向和中心-更上复杂层细胞更上复杂层细胞-使用边角使用边角-通过分层次检测得到完通过分层次检测得到完整的边缘和形状的感觉整的边缘和形状的感觉视觉信息处理视觉信息处理运动特性运动特性外膝体细胞层中含有外膝体细胞层中含有X细胞和细胞和Y细胞细胞,X细胞对应较慢运细胞对应较慢运动动,Y细胞对应较快运动细胞对应较快运动.主视觉区内有简单细胞和复杂细胞主视觉区内有简单细胞和复杂细胞,简单细胞负责检测简单细胞负责检测简单的点和线条运动简单的点和线条运动,复杂细胞负责更大区

15、域的运动边复杂细胞负责更大区域的运动边界和线条界和线条.视网膜的光敏细胞对于运动物体的光的感应仅仅是光视网膜的光敏细胞对于运动物体的光的感应仅仅是光源明暗的流动即光流，光流图像虽然是原始的运动图源明暗的流动即光流，光流图像虽然是原始的运动图像，但它包含了所有运动信息。因此在计算机视觉中像，但它包含了所有运动信息。因此在计算机视觉中发展光流量理论成为运动图像研究的主要手段发展光流量理论成为运动图像研究的主要手段。视觉信息处理视觉信息处理由于X细胞的外周主要是接受平均亮度信息，所以它对运动的风车不敏感。但是对于Y细胞的外周，运动的风车引起视网膜光强分布的变化，从而影响到Y细胞反应变化。1.3 认知

16、心理学与计算机视觉认知心理学与计算机视觉“黑箱理论黑箱理论”-心理学研究的主要方法心理学研究的主要方法直觉直觉-与底层视觉相关的一些规律与底层视觉相关的一些规律,这是这是我们要研究的主要内容我们要研究的主要内容直觉的特点直觉的特点:不准确不准确与识别对象知识关系不大与识别对象知识关系不大带有主观性带有主观性人类视觉所独有人类视觉所独有,发挥了积极作用发挥了积极作用1.1.视觉的适应和对比特性视觉的适应和对比特性人的实际视觉感受并不与客观目标的物理度量严格人的实际视觉感受并不与客观目标的物理度量严格一致，而是与所看到的目标的周围环境、变化过程一致，而是与所看到的目标的周围环境、变化过程有关。有关

17、。人们的视觉感受往往是通过相对比较而得到的。这人们的视觉感受往往是通过相对比较而得到的。这种比较包括与四周空间存在的种比较包括与四周空间存在的“模式模式”进行比较，进行比较，也包括时间上先前出现的也包括时间上先前出现的“模式模式进行比较。这进行比较。这里的模式指亮度级别、色彩类型、形状因素等。里的模式指亮度级别、色彩类型、形状因素等。这种依赖于相对比较而得到感受的视觉特性称为适这种依赖于相对比较而得到感受的视觉特性称为适应性或对比性。应性或对比性。马赫带指人们在明暗变化的边界，常常在亮区看到一条更亮的光带，而在暗区看到一条更暗的线条。这就是马赫带现象，马赫带不是由于刺激能量的分布，而是由于受到

18、视觉”惰性”的影响 马赫带效应视觉视觉”惰性惰性”的表现的表现亮度亮度,韦伯定律韦伯定律色彩色彩,色调错觉色调错觉边界边界,马赫带马赫带 形状形状 大小大小,变化变化运动运动,时间的适应性时间的适应性2.2.盖式塔组合规律盖式塔组合规律 人们的视觉往往能把图像中空间散布的小人们的视觉往往能把图像中空间散布的小点、小块看成连贯的线条或一块区域，这点、小块看成连贯的线条或一块区域，这些线条或区域可能是一个物体的一个表面，些线条或区域可能是一个物体的一个表面，它们往往具有一定的模式特征。人们就是它们往往具有一定的模式特征。人们就是通过这些模式特征收集图像中的散片通过这些模式特征收集图像中的散片,进而

19、进而发现物体的形状。这种组合碎片的能力由发现物体的形状。这种组合碎片的能力由著名的心理学家著名的心理学家GestaltGestalt总结成以下一些规总结成以下一些规律。律。盖式塔组合规律盖式塔组合规律相似律相似律接近律接近律盖式塔组合规律盖式塔组合规律光顺律光顺律闭合律闭合律盖式塔组合规律盖式塔组合规律对称律对称律简化律简化律盖式塔组合规律盖式塔组合规律完形趋向律完形趋向律图形图形背景律背景律盖式塔组合规律的应用之一盖式塔组合规律的应用之一-感知修复感知修复输入立体图对灰度轮廓场景图立体视觉中的深度感知和表面完全化的相互作用机制研究(2005,中科大博士论文,王)静电场静电场 电场强度与电势电

20、场强度与电势 电力线电力线 电力线是光滑曲线；电力线是光滑曲线；电力线起自正电荷（或无穷远处），止于负电荷（或电力线起自正电荷（或无穷远处），止于负电荷（或无穷远处），但不会在没有电的地方中断；无穷远处），但不会在没有电的地方中断；若带电体系中正负电荷一样多，正电荷出发的全部电若带电体系中正负电荷一样多，正电荷出发的全部电力线都集中到负电荷上去；力线都集中到负电荷上去；两条电力线不会相交。两条电力线不会相交。rqrdrEdrdUrr020P4141lEniiiniirqUU10141y yUxxUUErFErqq20041修复模型修复模型 激发子的结构激发子的结构激发子的安置激发子的安置场强的

21、计算场强的计算 yyyxxqyyxyyxxqxxyyUxxUUEniiiiiniiiii)()()()()()(13221322电力线补全电力线补全电力线补全电力线补全电力线补全的修正电力线补全的修正直线：直线拟合直线：直线拟合曲线：改变初始搜索方向曲线：改变初始搜索方向dirdiresESrrD电力线补全的例子电力线补全的例子实验结果实验结果第一深度层的修复场 第一深度层的待补全轮廓 第一深度层的补全结果 实验结果实验结果第二深度层的修复场 第二深度层的待补全轮廓 第二深度层的补全结果 实验结果实验结果实验结果实验结果3.3.深度知觉深度知觉深度知觉是重要的基本视觉信息之一。主要由双深度知觉

22、是重要的基本视觉信息之一。主要由双眼视觉获得。双眼视觉是指动物或人用双眼注视眼视觉获得。双眼视觉是指动物或人用双眼注视同一个物体时的视觉状态。正常的双眼视觉提供同一个物体时的视觉状态。正常的双眼视觉提供了视觉融合的（而不是双影的）以及高度的立体了视觉融合的（而不是双影的）以及高度的立体感。由于双眼在水平位置上的差别，同一个物体感。由于双眼在水平位置上的差别，同一个物体在左右眼的视网膜像是有微小差别的，正是这种在左右眼的视网膜像是有微小差别的，正是这种差别为视觉系统提供了立体视觉的最基本的信差别为视觉系统提供了立体视觉的最基本的信息息视差。立体视觉使我们得到了一个对周围视差。立体视觉使我们得到了

23、一个对周围世界的生动而精确的相对的深度分辨。世界的生动而精确的相对的深度分辨。单眼线索单眼线索除了双眼视差提供的双眼对深度的信息外，还有除了双眼视差提供的双眼对深度的信息外，还有许多单眼的信息也有利于深度的分辨许多单眼的信息也有利于深度的分辨.人类即使在头部固定且只使用单目来观测外部世人类即使在头部固定且只使用单目来观测外部世界时，也可以得到比较准确的深度知觉（界时，也可以得到比较准确的深度知觉（Depth Depth PerceptionPerception）。此时，人类的主要依据是外界环）。此时，人类的主要依据是外界环境及观察对象的物理特性或现象。这些仅凭一只境及观察对象的物理特性或现象。

24、这些仅凭一只眼睛的视觉即可提供的线索就是单眼线索。眼睛的视觉即可提供的线索就是单眼线索。单眼线索在绘画及摄影中发挥着重要的作用，也单眼线索在绘画及摄影中发挥着重要的作用，也被称之为图形线索。被称之为图形线索。单眼线索单眼线索物体的相对大小物体的相对大小 所谓的透视原理基于一个简单的光学事实：离眼睛或所谓的透视原理基于一个简单的光学事实：离眼睛或镜头近的物体看起来比离得远的大。如果我们看到两镜头近的物体看起来比离得远的大。如果我们看到两个人或任何两个物体，凭经验得知两者同样大小，那个人或任何两个物体，凭经验得知两者同样大小，那么，看起来稍大的一定离我们近。么，看起来稍大的一定离我们近。会聚的线条

25、会聚的线条 透视原理中的一个特殊情况是，两条平行线会在远距透视原理中的一个特殊情况是，两条平行线会在远距离处汇合在离处汇合在“消失点消失点”上。我们在此时就熟悉的一个上。我们在此时就熟悉的一个例子是两条铁轨在远方地平线上会聚为一点例子是两条铁轨在远方地平线上会聚为一点.单眼线索单眼线索物体的相对大小会聚的线条单眼线索单眼线索质地变化率质地变化率 在物质世界中，许多物体的空间位置往往都具有规则在物质世界中，许多物体的空间位置往往都具有规则性：草地中的草、森林中的树、池塘中的百合、地板性：草地中的草、森林中的树、池塘中的百合、地板中的木板、地毯上的花纹等。当这类参照物离我们近中的木板、地毯上的花纹

26、等。当这类参照物离我们近时，我们就会清楚地看见其花纹和细部；但继续向前时，我们就会清楚地看见其花纹和细部；但继续向前看，它们逐渐变小、不清晰了。詹姆斯看，它们逐渐变小、不清晰了。詹姆斯杰杰吉布森把这吉布森把这种消失的现象称为种消失的现象称为“质地变化率质地变化率”，它可以有力地显，它可以有力地显示景深。示景深。部分重叠部分重叠 当一个不透明的固体置于另一物体前时，我们就看不当一个不透明的固体置于另一物体前时，我们就看不到后面的了。到后面的了。单眼线索单眼线索单眼线索单眼线索清晰焦点的平面清晰焦点的平面获得景深的一个光学手法是有选择的聚焦。把焦点对获得景深的一个光学手法是有选择的聚焦。把焦点对在

27、前景物体上，那么背景则模糊而且景深浅。这就把在前景物体上，那么背景则模糊而且景深浅。这就把画面分成两个相对应的平面，焦点清晰的前景被摄体画面分成两个相对应的平面，焦点清晰的前景被摄体则从模糊的背景中跃然呈现。相反，也可以让焦点清则从模糊的背景中跃然呈现。相反，也可以让焦点清晰的被摄体远离模糊的前景。晰的被摄体远离模糊的前景。空气透视空气透视最早注意到这种效果的是最早注意到这种效果的是400400年前的达年前的达芬奇。空气中的芬奇。空气中的雾、烟或着灰尘能散射日光，使远处的物体比近处的雾、烟或着灰尘能散射日光，使远处的物体比近处的物体显得淡而模糊。物体显得淡而模糊。单眼线索单眼线索单眼线索单眼线

28、索颜色颜色在自然景物中，冷色的物体在自然景物中，冷色的物体(绿、蓝等绿、蓝等)比色彩较淡或比色彩较淡或饱和度较低纳物体看上去较远，而暖色饱和度较低纳物体看上去较远，而暖色(大红、橙色等大红、橙色等)表示色彩鲜艳的看上去较近。这是由于自然景色中人表示色彩鲜艳的看上去较近。这是由于自然景色中人们看馈了原野们看馈了原野(绿蓝色绿蓝色)作为远景，它们受大气水汽的作为远景，它们受大气水汽的影响看上去白蒙蒙的，而近处的物体则受到大气的影影响看上去白蒙蒙的，而近处的物体则受到大气的影响小，饱和度较高。响小，饱和度较高。照明与阴影照明与阴影有力地刻画被摄体的强烈侧光照明、或强调质地和使有力地刻画被摄体的强烈侧光照明、或强调质地和使阴影投向用相机方向的逆光照明，可以加强三维空间阴影投向用相机方向的逆光照明，可以加强三维空间的效果。不产生任何阴影的平光或散射光只能拍摄出的效果。不产生任何阴影的平光或散射光只能拍摄出平淡的形象，而不会产生三维空间的效果。平淡的形象，而不会产生三维空间的效果。单眼线索单眼线索