RGBD-Direct-方法原理介绍课件.pptx

1、7/26/20221 1RGBD Direct 方法简述前端：RGBD视觉里程计基础Direct方法基于贝叶斯的Direct方法基于相机噪声的Direct方法后端：优化与相机重定位Pose Graph与Photometric Bundle Adjustment摄像机重定位RGBD Direct方法展望7/26/20222 2RGBD 相机Kinect，Intel RealSense，Xtion etc.Structure light，time of flight（ToF）Direct方法利用所有像素最小化Photometric ErrorDirect方法常见问题与误会缺乏全局约束？没有摄像机重

2、定位方法？7/26/20223 37/26/20224 47/26/20225 57/26/20226 67/26/20227 77/26/20228 87/26/20229 97/26/20221010误会：Direct方法无法建立全局约束？原因1：Direct方法不提取特征点，无法建立帧与帧之间的共视约束原因2：Direct方法通常使用pose-graph做全局优化，场景信息无法在优化中利用起来解：利用Loop Closure提供非连续/邻近帧之间的关系在关键帧中提取少量RGBD像素建立共视约束如何选取像素？7/26/202211117/26/20221212Dense Visual SL

3、AM with PSM5不断收集可靠的RGBD点并添加到Map中(probabilistic surfels)利用全局和局部信息计算每一帧的相机姿态在最后优化时同时优化pose-graph和 photometric BA共视约束来源于probabilistic surfels在关键帧中的有效投影7/26/20221313误会：Direct没有摄像机重定位方法？Indirect/sparse方法可以将每一帧的特征描述子组织成kd树或语义树的形式，在重定位时进行检索解：利用RGBD像素建立Fern或Random Forest进行关键帧检索基于深度学习的相机姿态估计7/26/202214147/26

4、/20221515PoseNet:基于深度学习的摄像机重定位 722层GoogLeNet提取图片中的特征并转化为7维相机姿态3维位置信息，四元数旋转表示（Inference结果需要归一化）第一篇用深度学习方法计算相机姿态的工作，重定位精度有限7/26/20221616依然存在的问题和解决方法需要好的相机姿态初值（高度非线性）图像金字塔等计算量大，在缺少并行计算资源时难以实时累计误差问题基于语义的SLAM技术（平面等基本几何体或Instance recognition）摄像机重定位技术还不够完善Ferns等方法对内存要求较大基于深度学习的方法还不够完善7/26/202217171 Kerl,Ch

5、ristian,Jrgen Sturm,and Daniel Cremers.Robust odometry estimation for RGB-D cameras.Robotics and Automation(ICRA),2013 IEEE International Conference on.IEEE,2013.2 Kerl,Christian,Jurgen Sturm,and Daniel Cremers.Dense visual SLAM for RGB-D cameras.Intelligent Robots and Systems(IROS),2013 IEEE/RSJ In

6、ternational Conference on.IEEE,2013.3 Babu,Benzun Wisely,et al.-dvo:Sensor noise model meets dense visual odometry.Mixed and Augmented Reality(ISMAR),2016 IEEE International Symposium on.IEEE,2016.4 Wasenmller,Oliver,Mohammad Dawud Ansari,and Didier Stricker.Dna-slam:Dense noise aware slam for tof r

7、gb-d cameras.Asian Conference on Computer Vision.Springer,Cham,2016.5 Yan,Zhixin,Mao Ye,and Liu Ren.Dense Visual SLAM with Probabilistic Surfel Map.IEEE Transactions on Visualization&Computer Graphics 1(2017):1-1.6 Glocker,Ben,et al.Real-time RGB-D camera relocalization via randomized ferns for keyf

8、rame encoding.IEEE transactions on visualization and computer graphics 21.5(2015):571-583.7 Kendall,Alex,Matthew Grimes,and Roberto Cipolla.Posenet:A convolutional network for real-time 6-dof camera relocalization.Proceedings of the IEEE international conference on computer vision.2015.7/26/20221818