3D模型之立体感知控制研究课件.ppt

1、 3D 模型之立體感知控制研究 Controlling depth perception for rendering stereoscopic 3D models 中華民國 102 年 7 月 3 日 色 彩 與 照 明 科 技 研 究 所 碩 士 學 位 論 文國立台灣科技大學研 究 生：胡尚仁 指導教授：林宗翰 博士研究摘要1.1 研究背景 1.2 研究動機與目的現今想使用立體影像的方式去自動瀏覽一個 3D 模型是不容易的，往往產生出視覺舒適度不甚理想等情況，讓人無法長期凝視。僅有少數3D 軟體可模擬立體影像的拍攝手法。故本研究注重發展虛擬立體相機的調變機制，以 OpenGL 實作立體瀏覽

2、環境，探討不同的 3D 虛擬相機擺設方式(arrangement of virtual cameras)、相機夾角(camera vergence)、視差分佈(parallax distribution)等變數所產生的立體影像，並探討這些參數與視覺舒適之間的相關性。 依研究中依研究中找出舒適的閾值，既可使虛擬立體相機的調變機制有著可參考找出舒適的閾值，既可使虛擬立體相機的調變機制有著可參考的限定區間，更可確保大部份的視差都落在舒適範圍內，並透的限定區間，更可確保大部份的視差都落在舒適範圍內，並透過軟體自動調整虛擬相機，讓使用者瀏覽過軟體自動調整虛擬相機，讓使用者瀏覽 3D 畫面時，全程皆畫面時

3、，全程皆可融合立體影像，以減少不舒適的問題。可融合立體影像，以減少不舒適的問題。2 立體技術與成像原理 2.1 立體顯示器 立體影像技術主要分為兩大類：眼鏡式與裸眼式如圖 2-1 所示，差別在於眼鏡式的立體影像需借助於注視儀器，而裸眼式則不用藉由注視儀器即可觀看。 快門式與偏光眼鏡是近期較流行的立體技術。兩種技術各有優缺點，其主要差異如表 2-1，經由此比較後，本研究中選擇偏光式立體顯示器。 2.2 雙眼視差產生的立體視覺 2.2.1 感知深度 深度的感知可用來判斷空間中物體的相對位置，可分為單眼線索(monocular depth clues)與雙眼線索(binocular depth cu

4、es)以及移動深度線索(motion based depth cues)三大類6。 單眼視覺(monocularly)又可分為以下項目： 移動深度線索(motion based depth cues)是指當發生相對運動時，近的物體會移動較快，遠的物體會移動較慢，而基於大腦處理視覺刺激，並將刺激產生深度相關線索。 雙眼線索(binocular depth cues)是利用人的雙眼產生的兩種不同視角，並使景物在雙眼中產生的差距，又稱之視網膜差距視網膜差距(retinal dispaties)或雙眼視差。而雙眼線索可由單眼深度配合移動深度線索產生而來的，故此深度線索會更為準確。 2.2.2 成像原理

5、當人眼觀看景物時，通常凝視點與收斂距離相同，如圖 2-6 中間影像所示，然而現今的帄面立體顯示技術尚未能將凝視點與收斂點完全限定至相同距離，故會造成圖 2-6 最左與最右圖的情況，而不同視差所產生的立體影像，依圖 2-6 左至右分別為負視差、零視差、正視差負視差、零視差、正視差的立體影像。此現象可在腦中融合出立體深度感，但伴隨而來的則是視覺系統錯誤認知。換句話說立體影像與螢幕上左右影像正在不斷地來回調節眼球中的水晶體，使得螢幕影像，能完全被大腦給接受。故此故此種立體效果是有可能造成視覺疲勞的潛在因素種立體效果是有可能造成視覺疲勞的潛在因素7。 2.3 視角的量化計算而最常被引用的深度線索為雙眼

6、視差(binocular parallax)，如圖 2-7 所示，定義視差為觀看立體物件時，視線方向夾角 與一般觀看螢幕狀態下夾角 的差值8。 舒適評估大多文獻研究是藉由視差角的大小做為評判依據9。一般而言，畫面中各區塊所產生的立體視差很可能不相同。故研究中無法猜測使用者會觀看畫面中的那個區塊，因此採用螢幕中間視點的視差分佈來分析影像。採用螢幕中間視點的視差分佈來分析影像。模型投影至螢幕中，算出對於投影投影後的視差面積分佈圖後的視差面積分佈圖。 3 文獻探討3.1 立體影像融合範圍 西元2011年Tam等學者指出，雙眼觀看物件時，雙眼會因同視點理論(horopter)而形成一種凝視點軌跡如圖

7、3-1 所示，人眼觀看同視點時則會將同視點前後的景物也映入在人眼視網膜上。換句話說雙眼觀看同視點，則影像沒有視差影響，而觀看融合區觀看融合區間中間中(fusional limits)的影像，的影像，會有視差以及可在大腦融合會有視差以及可在大腦融合並產生立體感，但觀看融合並產生立體感，但觀看融合區間外的影像卻產生無法融區間外的影像卻產生無法融合，以及雙眼競爭等情況合，以及雙眼競爭等情況11。 3.2 視覺疲勞視覺疲勞影響因素有四種分別為，(1)左右影像的幾何變形，(2)左右影像不同步，(3)凝視點與收斂點相互衝突，(4)過大的視差。故影像影像錯誤率應低於人類視覺系統的容忍閾值錯誤率應低於人類視覺

8、系統的容忍閾值。西元 2006 年 Wang 等學者根據研究指出，當人眼觀看立體影像時會產生凝視點(accommodation)與視線交會位置(convergence)不匹配時，則較會產生凝視點與影像預估呈現點不一致的現象如圖 3-4。換句話換句話說觀看說觀看 3D 立體影像時，可能因人眼凝視點與視線交會位置不同，造立體影像時，可能因人眼凝視點與視線交會位置不同，造成影像不真實以及視覺疲勞成影像不真實以及視覺疲勞20。因人眼的景深(depth of field)有一定的限制。故凝視點前後超出景深的物體在大腦的成像看起來是模糊的，有可能造成視覺疲勞。觀看 2D 合成 3D 的內容時，將與真實 3

9、D 場景有所不同，主要原因乃是凝視點落在螢幕上，而眼球交會位置落於螢幕後方，因此凝視點位於螢幕上，整張立體影像清晰且無模糊情況，與真實與真實 3D 有衝突有衝突21。 3.3 立體影像感知能力 西元 2002 年 Nojiri 等學者根據研究指出，若將螢幕分為九區塊九區塊，則立體影像的繪製編排，建議應採上半部三區塊為凹入螢幕(正視差)，下半部三區塊為击出螢幕(負視差)的畫面。Factor(comfort) =0.36xpp+1.0 xsp-0.9pd+ c3.4 像差與視差 西元 2010 年 Lang 等學者發表了非線性視差映射技術(non-linear disparity remappin

10、g)，其技術可將 3D 效果不良的影片重新分配原有的像差，使得 3D 效果可以限定在特定範圍內，讓人在觀看立體影片的舒適度增高。西元 2002 年 Kawahara 等學者根據統計研究發現，觀看 3D 投影式的立體影像，其立體影像的視差分佈與視覺舒適度有很高的相關性，換句話說視差越大，舒適程度越視差越大，舒適程度越低低。而場景立體存在感與視差分佈並沒有很高的相關性24，故此分析對將會引用至本實驗假設的視差分布與舒適度影響。 4 實驗設計與研究方法 實驗設計主要分為四大部分，分別為實驗對象、實驗工具、實驗設計，以及統計的方法。4.1 視差分佈分析處理視差是分析立體影像舒適度的重要指標視差是分析立

11、體影像舒適度的重要指標本研究採用人臉的立體模型來評估此項假設，以人臉的立體模型來做主要因素是遮蔽面的演算不高，藉由左右相機拍攝一張人臉模型，並依照深度圖轉視差圖的方式完成此項評估。4.2 前置測試 實驗測試流程主要由使用者先觀看近乎零視差的立體模型，之後隨意更改模型位置調整至舒適臨界值，最後填寫當前影像之問卷。受測者調整的受測者調整的影像可能會產生兩種臨界值如圖影像可能會產生兩種臨界值如圖 4-5 正視差與負正視差與負視差視差，分別為影像靠近與影像遠離的兩種影像。基於上述提出的界定方法，並由 12 位平均年齡 22歲，立體視覺正常的受測者測試舒適區間的界定。實驗在暗室中進行，觀測距離約 100

12、 公分，並以五尺度量表評估舒適度的範圍。 從實驗結果發現在此款螢幕下 0.92 至 1.15、-0.79 至-0.98 的視差是可融合但卻不舒適。可融合但卻不舒適。4.3 程式編寫架構 採用 C/C+程式語言，結合 OpenGL繪圖函數庫，並應用於顯示卡抓取深度圖的加速機制，開發一套可以瀏覽 3D 模型物件的立體呈現軟體。 最後依照立體相機的初始位置設定光源，也就是虛擬光源伴隨著相機移動而變動光源位置。4.4 實驗對象 受測對象平均年齡居於 24 歲左右，受測者雙眼瞳孔間距平均約 6.3 公分，觀賞立體螢幕距離約三倍螢幕高度，受測人數 15 人。4.5 實驗工具 立體視覺測試工具立體視覺測試工

13、具:藉由此工具來檢測受測者是否有立體盲。 疲勞程度測試工具疲勞程度測試工具 閃光融合儀閃光融合儀:疲勞程度是一種人體感知系統，較不能藉由量化的方式呈現，故研究中測試人眼觀看閃爍頻率的快慢。而當眼睛疲勞狀態下通常只能分辨比較低頻的閃爍。 4.5.3 立體影像觀賞及操作介面 藉由 3D滑鼠的開發將立體模型以最直覺的方式移動及旋轉，而變動後的的立體影像未盡理想，將採用視差直方統計圖完成每個影像的舒適區域調整。 4.6 實驗設計4.6-1實驗一融合範圍分析 視差分佈圖中可提出兩變動因子分別為視差範圍視差範圍以及視視差平均值差平均值。 視差平均值與視差視差平均值與視差範圍皆有五階層變範圍皆有五階層變化，

14、故此實驗將依化，故此實驗將依照此兩變因產生二照此兩變因產生二十五張立體測試影十五張立體測試影像。像。 受測者: 本實驗受測者共有 15 名，年齡分布介於 23 歲至 25 歲，其中男女比例為 10位男性與 5 位女性。所有受測者皆通過立視覺的測試以及視力正常測試(1.0)。 當受測者在 3D 模式下觀看影像，主觀評價項目分為立體感、融合程度 立體感立體感(depth of sense)：測試立體影像與參考立體影像(如圖 4-21 所示，由左至右分別為固定評價 2、4、6 分的參考值)之立體感知對比程度，若立體感知程度較參考影像高，則評分越高。 融合程度融合程度(fusion)：觀看整體立體影像

15、時，其影像每個細節的融合程度，若融合程度越高則分數越高。4.6.2 實驗二智慧調變機制實驗設計 承接實驗一的內容進行舒適閾值的限定如圖 4-23，由最初始的人因觀看條件設定(viewing condition)，依人因條件優化立體虛擬相機 測試模型:4.7 統計方法 實驗一融合範圍分析為雙因子變異數雙因子變異數分析法分析法，其變數為均值視差與視差範圍， 實驗二智慧調變機制實驗單因子變異單因子變異數分析法數分析法，其變數為調變前後的舒適影響單因子變異數分析法 5 實驗結果分析與討論 其問卷題目如下七點： 1. 看螢幕內容有困難 2. 眼睛周圍有眼花撩亂 的感覺 3. 感到眼睛疲勞 4. 感到視線

16、模糊 5. 感到頭痛 6. 注視螢幕時感到暈眩 7. 有想嘔吐的感覺 6 結論與建議 6.1 結論 本論文提出一套可依使用者任意調變方位的立體影像觀賞本論文提出一套可依使用者任意調變方位的立體影像觀賞軟體，該軟體具有智慧立體調變機制，可依照人因結果的軟體，該軟體具有智慧立體調變機制，可依照人因結果的舒適融合閾值進行動態即時調變舒適融合閾值進行動態即時調變，讓觀測者有著舒適的感官以及刺激的深度感知。根據本研究中所建立的舒適融合區間，可以得出立體感知與視差範圍有著密切相關，也就是說視差範圍值越大其觀看結果越立體。 6.2 未來發展 本研究中指出中型尺寸的立體顯示器的舒適閾值，並依照此舒適閾值發展一套智慧調變機制，但此閾值可能只適用於 27 吋偏光式立體顯示器，未來將可多方發展至大小尺寸及手機與娛樂設施上，在智慧調變機制也可量化成選單形式，並依照不同情況、不同環境去做調變，使立體影像、立體娛樂可以更有顯著的發展。