影视媒体的高品质修复与分辨率提升技术课件.ppt

1、影视媒体的高品质修复与影视媒体的高品质修复与4K/8K4K/8K分辨率提升技术分辨率提升技术背 景 普 及背 景 普 及3分辨率（Resolution）*分辨率的大小对于图像的真实感等视觉效果密切相关过低的分辨率将严重降低图像或视频的视觉效果4分辨率与图像的细节和真实表现力息息相关771253605分辨率需要与屏幕尺寸协同演变 将低分辨视频在高分辨大屏幕上播放时，若使用原始分辨率播放，则会导致窗口尺寸过小 若使用全屏播放时，则会产生大量的马赛克、伪影、噪点、甚至失真52 倍16 倍14”48032046”192010802K85”7680432060”？19201080？384021604K1

2、3倍4倍4倍历 史 机 遇历 史 机 遇72014年是4K元年，4K视频带来的挑战 这是一场永无止境的硬件竞赛 4K显示设备 2014年，4K屏幕出货量直达400万台 支持4K显示的芯片 支持4K显示的低端PC准系统 网络带宽提速，视频网站已经开始提供4K超清片源 Apple iMac 27“一体机已经标配5K屏幕 CES 2013上夏普已经启动85英寸的8K显示面板 未来人们对于4K超清媒体需求的膨胀，恰好成就了我公司未来业务发展的黄金时期4K:38402160以上这些显示终端都是用来显示4K以上分辨率的媒体，同时也是我们产品的潜在客户9巨大的社会意义巨大的社会意义和和商业价值商业价值10经

3、典老电影的经典老电影的4K4K修复与修复与品质翻新的品质翻新的难度巨大难度巨大11将具有较低分辨率的图像或视频（如分辨率在4K以下的480p，720p或1080p等视频）超频到高分辨率（如4K，5K，6K，甚至10K等）原始图像普通放大分辨率后的图像理想的提高分辨率结果0.5K至4K分辨率的提升12l目前主流的高清影片（1080p），约30帧/秒l1部90分钟左右的影片共计162000帧图像l而一个熟练的图像编辑人员每天最多能处理200幅图像l则修复与翻新一部经典老电影需要花费一个技术人员2年多的时间才能完成l在这种重复工作中，人工处理无法保证期准确性和可靠性l人工成本高昂l修复一部影片的费用

4、为10万元到20万元不等l国际上为8至10万美元l若考虑将影片提升至4K质量，则工作量更为巨大难点1：工作量巨大，人工效率低下，质量无法保证13提高分辨需求所提出的巨大学术挑战 从720P至4K，图像放大16倍，在分辨率提升之后结果图像中每有效16个像素中有15个需要我们“猜”出来，对于类似问题的求解，有着极高的学术深度和难度。对于类似问题的求解，有着极高的学术深度和难度。该领域的技术门槛极高?难点2：学术难度14马赛克效应模糊和失真伪影和噪声细节保真4K翻新中需要解决的一些问题马赛克、伪影、噪声、失真等难点3：工程实现难度在4K显示时，这些问题会被放大和凸显15我们的技术优势我们的技术优势1

5、6与本领域国际主流方法的性能对比 视觉效果Berkerly图像库200张图像平均评价与本领域国际主流方法的性能对比 计算速度放大一幅512512的图像所需时间（同为matlab环境，单位：秒）与 业 界 方 法 对 比 硬件：iMac 27寸+三星28英寸4K分辨率LED背光液晶显示器 软件：Windows 7系统自带的拷屏功能 对比目标：某款号称业界领先播放器的“增强模式”建议观察图片时，最好采用50寸以上的大屏幕，且显示器的分辨率达到或者接近4K（3840 x 2160以上）请不要在投影仪上观看对比效果！投影仪的分辨率和对比度无法满足要求原图大小：720 x360（来自美剧纸牌屋S02E0

6、1）20放大4倍，7.2s(matlab,单图输入)21我们处理的结果某款业界领先播放器的增强模式Window放大细 节 122细 节 2我们的处理结果Window放大某款业界领先播放器的增强模式细节3我们的处理结果Window放大某款业界领先播放器的增强模式我们的单帧处理结果原图大小：720 x360（来自美剧纸牌屋S02E01）某款业界领先播放器的增强模式我们的单帧处理结果原图大小：720 x360（来自美剧纸牌屋S02E01）某款业界领先播放器的增强模式我们的单帧处理结果原图大小：720 x360（来自美剧纸牌屋S02E01）某款业界领先播放器的增强模式原图大小：720 x360（来自美

7、剧纸牌屋S02E01）我们的单帧处理结果某款业界领先播放器的左眼模式来自美国室内剧The Big Bang Theory我们的单帧处理结果某款业界领先播放器的增强模式29来自美国室内剧The Big Bang Theory我们的单帧处理结果某款业界领先播放器的增强模式30来自卡通The Simpsons我们的单帧处理结果某款业界领先播放器的增强模式31来自卓别林作品黑白影片Kid Auto Races at Vienice 某款业界领先的播放器增强模式全屏播放拷屏1模式单帧的处理结果若考虑在模型中引入噪预处理项的结果32即使对于大话西游的2014重映版本，原图分辨率：1280 x72033细节

8、我们的处理效果永远比别人更清晰原图：1280 x720，放大4倍，4K，耗时 7.1s，来自大话西游-大圣娶亲纤毫毕现我们的处理结果某款主流软件处理结果我们的方法人物细节处理效果某款主流软件截图我们的方法处理效果的局部细节放大对比长虹电视宣传片某款主流软件我们的方法处理效果的局部细节放大对比老电影老电影龙凤配龙凤配老电影的处理效果某款主流软件我们的方法处理效果的局部细节放大对比原始视频我们的处理结果经典老电影的全自动处理结果42原始视频经典老电影的全自动处理结果我们的处理结果43原始视频经典老电影的全自动处理结果我们的处理结果44经典老电影的全自动处理结果原始视频我们的处理结果处理之前我们处理

9、之后处理之前我们处理之后原始视频我们的处理效果经典老电影的全自动处理结果老电影中常见的污损（红色方框内）我们的方法自动处理之后的效果老电影中常见的污损（红色方框内）我们的方法自动处理之后的效果老电影中常见的污损（”海“字上的撕裂纹）我们的方法自动处理之后的效果49与专业影视超分辨软件对比 硬件：iMac 27寸+三星28英寸4K分辨率LED背光液晶显示器 软件：Windows 7系统自带的拷屏功能 对比目标：专业影视修复软件1.AVISynth：由：由Ben Rudiak-Gould首创的强大工具，提供各种方式来合并和滤镜处理影像文件。首创的强大工具，提供各种方式来合并和滤镜处理影像文件。2.

10、VideoEnhancer：infognition公司出品，提升视频质量，采用大量的公司出品，提升视频质量，采用大量的VirtualDub滤镜和附加的编码。滤镜和附加的编码。3.virtualDub:世界上最流行的视频处理软件之一，快速的视频捕捉、处理，支持各种强大滤镜。世界上最流行的视频处理软件之一，快速的视频捕捉、处理，支持各种强大滤镜。原图720*480 超分辨后2880*1920AVISynthVideoEnhancrvirtualDub我们的结果细节对比1virtualDubVideoEnhancerAVISynth超凡视觉超凡视觉photoshop细节对比2virtualDubVi

11、deoEnhancerAVISynthphotoshop超凡视觉超凡视觉photoshop细节对比3超凡视觉超凡视觉virtualDubVideoEnhancerAVISynth结 论 1l 大多数号称提高分辨率的软件l其实都是采用简单的放大策略（如bicubic等）l然后再通过视频增强等后处理，来让放大的结果看起来舒服些l本质上还是简单地放大处理，没有真正地提升分辨率l其处理结果视频的细节表现力和保真度并没有显著提高l这个缺点在超大屏幕上会显现出来l而且随着未来屏幕越来越大，这些问题就会越来越严重55与专业影视修复软件对比结果展示 硬件：iMac 27寸+三星28英寸4K分辨率LED背光液晶

12、显示器 软件：Windows 7系统自带的拷屏功能 对比目标：专业影视修复软件由于这2款软件均没有分辨率提升功能，因此仅对比修复效果1.PFClean：PixelFarm公司出品的破损影像修复软件公司出品的破损影像修复软件2.DustBuster：Diamant公司出品的数字影像修复软件公司出品的数字影像修复软件原始视频我们的处理结果去噪效果对比：影片来源罗马假日DustBusterPFClean57我们处理的结果PFCleanDustBuster细节58原始视频我们的处理结果去噪效果对比：影片来源龙凤配DustBusterPFClean59我们处理的结果PFCleanDustBuster细节

13、60修复效果对比原始视频我们的处理结果PFClean61我们处理的结果PFClean细 节62修复效果对比：影片来源铁道游击队原始视频我们的处理结果PFClean63细节我们处理的结果PFClean641）对于所谓的专业修复软件首先我们的处理效果可以与他们媲美，甚至明显优于这些知名软件2）大多数专业修复软件只能作为图像师的工具手动修复要很大程度上依赖高级图像师傅的个人能力无法进行海量批处理的智能化自动修复效率和速度，以及成本上接近饱和，代价却极高结 论 265l 我们的方法目前在处理的视觉质量上已经处于国际领先水平lPSNR，SSIM等视觉参数指标均优于国际其他研究团体l 我们的方法处理速度国际领先l 我们的方法可以实现无人值守的智能处理l 我们的方法是目前国际上唯一的专门针对老旧影视作品的4K高品质修复与翻新方法优 势 总 结尤其适合老电影的精校与翻新尤其适合老电影的精校与翻新尤其适合影片的大规模批量化处理尤其适合影片的大规模批量化处理