计算摄像学专题第3讲课件.ppt

1、-1-戴琼海清华大学 自动化系-2-全光函数一光场概念与理论二光场的多光照拓展三-3-全光函数一光场概念与理论二光场的多光照拓展三-4-p 视觉在人类对世界的感知、理解、交互中的重要意义p 视觉信息的采集(采样)、表示（数学定义）、重建（恢复）、感知(理解)、渲染(显示)、编辑（交互）、通讯(编码与传输)p 涉及学科领域：计算视觉、计算机图形学、图像信号处理、(计算摄像学)p 如何表示视觉信息是研究视觉信息的基础与核心-5-pplenoptic(拉丁 plenus:full，optic:vision)pplenoptic function Adelson 91v空间中的某个位置(3D)v沿着某

2、个方向(2D)v在某个具体的时间(1D)v具有某个波长(1D)为7维函数p涵盖动态场景中的任意光线集-6-为光线的强度 也可记为P(x,y)v从单一位置点看见的光线v固定某一时刻v对可见光各波长分量作平均-7-为光线的强度v从单一位置点看v固定某一时刻v以波长为变量-8-为光线的强度v从单一位置点看v以时间为变量v以波长为变量-9-为光线的强度v以视点位置为变量v以时间为变量v以波长为变量-10-p描述了物理存在的任何视觉信息v包含了不可见光等电磁辐射信息v没有经过任何物理处理v涵盖时变及波长变化情况（如磷光）p波长分量一般离散化为R,G,B通道p实际系统的辐射度范围受限vLDR与HDRp全光

3、函数虽然不可能获得，但其作用：v为视觉信息的研究提供了基础理论工具-11-p基于全光函数子集的图像采集系统v传统图像(和 的2D子集)v全景图Chen95(和 的2D全集)v视频序列(,的3D子集)v光场Levoy96,Gortler96 (,的4D子集)v动态光场Wilburn05 (,的5D子集)x y ztx y zx y zt-12-全光函数一光场概念与理论二光场的多光照拓展三-13-pThe light field is a function that describes the amount of light traveling in every direction through

4、 every point in space.Michael Faraday was the first to propose(in an 1846 lecture entitled Thoughts on Ray Vibrations)that light should be interpreted as a field,much like the magnetic fields on which he had been working for several years.The phrase light field was coined by Alexander Gershun in a c

5、lassic paper on the radiometric properties of light in three-dimensional space(1936).The phrase has been redefined by researchers in computer graphics to mean something slightly differentcitation needed.-14-pMcMillan95在3D空间，使用规则的离散采样(,)p生成连续空间的新 视角图像p维度仍然过高如何简化？如何简化？p4D光场v光线沿着光轴方向辐射度不变v自由空间假设x y z-1

6、5-空间含遮挡物(5D)自由空间，辐射度恒定(4D)由内向外由外向内自由空间自由空间自由空间自由空间-16-p对目标光线进行参数定位以下将Levoy96提出的4D光场简称为光场-17-L(x,y,)-18-p双平面参数法Levoy96v最常用的参数化方法v检索简单（图像阵列）v绘制简单（投影几何）v缺陷：只覆盖了一个方向覆盖360度视角需要至少6套光板光板之间的切换引入artifacts-19-q基于双平面参数法的新视角绘制q视角汇聚与视角平行？q规则的4D图像集-20-q绘制步骤：v对于给定的视角，将st和uv平面分别投影到虚拟视角xy上v对于目标图像上的每个像素，将投影得到的(u,v,s,

7、t)进行查表获得光强L(u,v,s,t)q2*投影+查表 获得每个像素值，复杂度低-21-加权样本最近邻U,V加权U,V,S,T加权-22-23-p 优点v绘制速度快v绘制复杂度与场景复杂度无关v绘制真实感较强p 缺点v数据量大（虽然压缩率高120:1Levoy96）v不可编辑（无模型）-24-无深度信息深度信息辅助需对多个像素进行加权-25-q假想对象平面st可变的情况-26-27-p4D光场还能简化吗？光场还能简化吗？p简化带来采集的便利、重建质量的下降简化带来采集的便利、重建质量的下降p如何在降低维度的过程中尽可能地保留重如何在降低维度的过程中尽可能地保留重要的全光信息要的全光信息p第三

8、部分将介绍光场的扩展第三部分将介绍光场的扩展(维度的增加维度的增加)-28-p基于图像绘制与基于模型绘制的折中p如何分析？数据采样密度对绘制的影响图像信号处理算法优化需求数据量高需求数据量低 复杂度高 复杂度低-29-p Plenoptic Sampling Chai00使用傅里叶信号分析研究光场绘制获得光场采样与光场绘制的关系q 简化假设无遮挡朗泊漫反射表面q 将4维简化为2维进行信号分析 ST S UV U-30-p图像采集数量与深度层数量的不同组合可获得相同的虚拟视角绘制质量-31-p3个深度层，3232 图像集，过采样-32-p3个深度层，1616 图像集，采样-33-p3个深度层，8

9、8 图像集，最优采样-34-p3个深度层，44 图像集，欠采样-35-p3个深度层，22 图像集，欠采样-36-q 几何信息与采样率的折中，由最小采样曲线决定q 目标图像的分辨率影响最小采样曲线的偏移-37-p Spherical gantry Levoy96相机自由度：2光照自由度：2q 360度的光场及反射场 捕获q 应用：文物记录与保护-38-p 多相机阵列128相机系统(Stanford05)64相机系统(Tsinghua07)q 应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像-39-40-41-pplenoptic(拉丁 plenus:full，optic:vision)

10、pplenoptic function Adelson 91v空间中的某个位置(3D)v沿着某个方向(2D)v在某个具体的时间(1D)v具有某个波长(1D)为7维函数p涵盖动态场景中的任意光线集-42-空间含遮挡物(5D)自由空间，辐射度恒定(4D)由内向外由外向内自由空间自由空间自由空间自由空间-43-q绘制步骤：v对于给定的视角，将st和uv平面分别投影到虚拟视角xy上v对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)q2*投影+查表 获得每个像素值，复杂度低-44-高分辨率或动态范围图像高速视频虚拟光圈成像-45-p 多相机阵列128相机系统(

11、Stanford05)64相机系统(Tsinghua07)q 应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像-46-4000 4000 像素 292 292 透镜 =14 14 像素/透镜Contax 中档相机Kodak 1600万像素底片光学微透镜阵列125微米微透镜-47-48-uv-planest-plane-49-50-截取=对每个微透镜中央像素求和-51-重聚焦=从不同的微透镜提取像素求和-52-53-视角调整=移动所有微透镜的截取窗-54-55-56-p重聚焦、视角调整、光照处理p只采集一张图像解决p所有处理都基于数字处理p牺牲空间分辨率，换取光线角度信息-57-p传统

12、显微镜为看到对象切片，调节载物台，手动聚焦p光场显微镜Levoy06与光场相机类似，捕捉光场，计算聚焦p特点：多视角及三维重建牺牲空间分辨率-58-全光函数一光场基本概念与理论二光场的多光照拓展三-59-4D光场：捕捉从对象发出的4D光线集合-60-入射光场：进入对象的光线集-61-p入射光场：进入对象的光线集，属全光函数的采样4D光场：L Lo o(o,o,x,y)4D(入射)光场：L Li(i,i,x,y),:采集视点或光照视点的二维坐标x,y：对象的二维参数化q反射场：对象表面对光线进行传递变换所构成的场R(L Lo o;L Li)=R(o,o,xo,yo;i,i,xi,yi)qL Lo

13、 o L Li R(L Lo o;L Li)q输出光线只与作用到该点的入射光线有关，6D反射场：R(o,o,x,y；i,i)q4D反射场：R(x,y；i,i)-62-每个光源对应采集一张图像-63-2D 光照具有可加性-64-2D 图像 2D +光照 2D重光照：根据对象在一个或多个光照下的外观，就算目标光照下的对象外观-65-Debevec2000-66-p采集图像Original Resolution:6432-67-6432-68-环境光照图反射函数光照积绘制像素1Demo-69-70-远距离环境光照-71-有近距离遮挡物，该重光照框架是否成立？-72-p单视角多光照p只适用于远距离光照

14、框架假设物体上每个点具有相同的环境光照图近距离光照或遮挡物使得 每个物体点的环境光照图不一q需要维度更高的反射场函数及其图形学方法-73-8D 反射场函数8D反射场处理互遮挡的重光照问题-74-8D 反射场函数 Masselus2003-75-6D图像 2D+视角 2D+光照 2D-76-p Spherical gantry Levoy96相机自由度：2光照自由度：2q 360度的光场及反射场 捕获q 应用：文物记录与保护-77-p对静态对象,数据维度6D Matusik2002-78-VisualHullSurface LightfieldSurface Reflectance FieldsAlpha Mattes-79-VisualHullSurface LightfieldSurface Reflectance FieldsAlpha Mattes-80-81-q 全光函数是空间光线的集合q 光场是全光函数的4D参数化与简化q 光场可实现虚拟视角的实时绘制q 光场采样定律：深度与采样率的折中q 光场的应用：光场相机与光场显微镜q 光场的扩展：场景重光照