雙目立體(雙目視覺(jué)三維點(diǎn)云獲取要學(xué)習(xí)什么知識(shí))

1.雙目視覺(jué)三維點(diǎn)云獲取要學(xué)習(xí)什么知識(shí)

雙目攝像頭是利用仿生學(xué)原理，通過(guò)標(biāo)定后的雙攝像頭得到同步曝光圖像，然后計(jì)算獲取的2維圖像像素點(diǎn)的第三維深度信息。雙目攝像頭利用視覺(jué)計(jì)算原理，可以計(jì)算出拍攝場(chǎng)景內(nèi)物體的3維空間位置信息，在此基礎(chǔ)上可以實(shí)現(xiàn)環(huán)境感知、體感、建模、行為識(shí)別等各種應(yīng)用。相比單目攝像頭，雙目攝像頭的功能更加豐富，可獲取依靠單目攝像頭無(wú)法準(zhǔn)確識(shí)別的信息。

國(guó)內(nèi)這兩年有不少科技類(lèi)初創(chuàng)企業(yè)都在積極布局深度攝像頭市場(chǎng)，其中冒出了不少做雙目視覺(jué)硬件的公司。我們公司最近因?yàn)橐粋€(gè)項(xiàng)目在尋找合適的雙目硬件，幾經(jīng)對(duì)比下來(lái)，發(fā)現(xiàn)國(guó)內(nèi)居然有一款各方面參數(shù)都不錯(cuò)的雙目——小覓雙目攝像頭深度版。經(jīng)過(guò)和他們公司的接觸，拿到了一款他們這個(gè)版本的內(nèi)測(cè)版，拿回來(lái)測(cè)試了之后效果還不錯(cuò)，只是有些小的bug，所以準(zhǔn)備等到他們深度版的正式量產(chǎn)后再購(gòu)買(mǎi)。據(jù)說(shuō)，這款深度版攝像頭將在今年三季度上市，“雙目+IMU”的方案本身就不錯(cuò)，而且是彩色圖像輸出，可以直出深度圖，三維點(diǎn)云的獲取也很順暢。

2.雙目立體視覺(jué)原理最早什么時(shí)候提出的

一、雙目立體視覺(jué)原理最早始于上世紀(jì)的60年代中期提出。

分析：雙目立體視覺(jué)的開(kāi)創(chuàng)性工作始于上世紀(jì)的60年代中期。美國(guó)MIT的Roberts通過(guò)從數(shù)字圖像中提取立方體、楔形體和棱柱體等簡(jiǎn)單規(guī)則多面體的三維結(jié)構(gòu)，并對(duì)物體的形狀和空間關(guān)系進(jìn)行描述，把過(guò)去的簡(jiǎn)單二維圖像分析推廣到了復(fù)雜的三維場(chǎng)景，標(biāo)志著立體視覺(jué)技術(shù)的誕生。

二、雙目立體視覺(jué)原理簡(jiǎn)介：

雙目立體視覺(jué)是機(jī)器視覺(jué)的一種重要形式，是基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來(lái)獲取物體三維幾何信息的方法。

3.雙眼立體視覺(jué)檢查圖

目前國(guó)內(nèi)外對(duì)視覺(jué)研究非常重視，因?yàn)樗墙沂灸X奧秘的最 好途徑，而立體視覺(jué)是視覺(jué)研究中的重要課題，隨著科學(xué)技術(shù)的高度發(fā)展，越來(lái)越多的職業(yè)需高敏立體視功能，故國(guó)內(nèi)外對(duì)立體 視覺(jué)的檢測(cè)法做了很多研究，盡管如此，立體視覺(jué)產(chǎn)生機(jī)制等問(wèn) 題還不是很清楚。

現(xiàn)簡(jiǎn)單介紹幾種國(guó)內(nèi)外常用的立體視覺(jué)檢測(cè)法。1。

dolman深徑計(jì)：此法是直觀式、三維信息刺激型、遠(yuǎn)距 離檢測(cè)法，正常值為二根垂直桿相差在3cm內(nèi)，臨床已很少應(yīng)用。2。

Titmus立體圖：依偏振光原理而制，屬圖像式，檢查時(shí) 需戴偏振光眼鏡，視差范圍400〃?40"。 該圖檢查方便，被檢者 易于理解，但準(zhǔn)確性差，有單眼立體線索，重復(fù)性差，易記憶， 易出現(xiàn)假陽(yáng)性，還有印刷質(zhì)量問(wèn)題。

目前在國(guó)外此法應(yīng)用最多。3。

同視機(jī)檢查法：圖像式、遠(yuǎn)距離法，國(guó)內(nèi)使用很廣。傳 統(tǒng)的立體視圖片只能定性，不能定量，準(zhǔn)確性較差，不能滿足臨 床需要。

顏少明新研制的隨機(jī)點(diǎn)同視機(jī)立體定量圖，視差范圍800"? 60"，圖形不重復(fù)，無(wú)暗示信號(hào)，無(wú)法猜測(cè)，極易識(shí)別，還能捕 捉雙眼單視破裂點(diǎn)，準(zhǔn)確測(cè)定立體視，受到國(guó)內(nèi)外的重視，國(guó)外多采用近距檢查法。遠(yuǎn)距與近距的立體視機(jī)制的內(nèi)涵不完全相同，這里有靜態(tài)和 動(dòng)態(tài)立體視的問(wèn)題，現(xiàn)代研究表明，規(guī)范的立體視檢查方法必須雙相測(cè)定，二者不可偏廢，彼此不可代替。

故隨機(jī)點(diǎn)同視機(jī)立體圖在對(duì)立體視覺(jué)研究和臨床應(yīng)用上有更重要的意義和廣闊的前景。4。

Frisby立體板：直觀式、隨機(jī)點(diǎn)立體圖，不需戴偏振光 鏡或紅綠膠片鏡，視差范圍875" ~ 20"，檢查方便，但準(zhǔn)確性較差，被檢者頭部固定不好時(shí)，易產(chǎn)生假陽(yáng)性。 5。

TNO隨機(jī)點(diǎn)立體圖：戴紅綠眼鏡檢查，視差400"?15"， 正常值60"，此圖為測(cè)定整體視功能，有人對(duì)比了該圖與Titams 立體圖及Frisby立體板及雙桿立體測(cè)量?jī)x，結(jié)論是測(cè)定有無(wú)立體視以該圖最好，但由于印刷質(zhì)量問(wèn)題，圖片顏色與膠片不一定一 致，設(shè)計(jì)上存在暗示信號(hào)，密碼特性發(fā)揮不充分。 6。

顏氏隨機(jī)立體視覺(jué)檢查圖：該圖隨機(jī)點(diǎn)偽裝嚴(yán)密徹底， 項(xiàng)目齊全，客觀準(zhǔn)確性好，自1985年出版以來(lái)，已在全國(guó)各地普遍使用。郭靜秋等利用三種方法進(jìn)行兒童立體視銳度測(cè)定，發(fā) 現(xiàn)顏氏法及Frisby法正常值為≤60",Titmus法似以。

4.雙目立體視覺(jué)原理最早什么時(shí)候提出的

一、雙目立體視覺(jué)原理最早始于上世紀(jì)的60年代中期提出。

分析：雙目立體視覺(jué)的開(kāi)創(chuàng)性工作始于上世紀(jì)的60年代中期。美國(guó)MIT的Roberts通過(guò)從數(shù)字圖像中提取立方體、楔形體和棱柱體等簡(jiǎn)單規(guī)則多面體的三維結(jié)構(gòu)，并對(duì)物體的形狀和空間關(guān)系進(jìn)行描述，把過(guò)去的簡(jiǎn)單二維圖像分析推廣到了復(fù)雜的三維場(chǎng)景，標(biāo)志著立體視覺(jué)技術(shù)的誕生。

二、雙目立體視覺(jué)原理簡(jiǎn)介： 雙目立體視覺(jué)是機(jī)器視覺(jué)的一種重要形式，是基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來(lái)獲取物體三維幾何信息的方法。

5.雙目立體視覺(jué)檢測(cè)的主要步驟有哪些

與普通的圖像模板匹配不同的是，立體匹配是通過(guò)在兩幅或多幅存在視點(diǎn)差異、幾何畸變、灰度畸變、噪聲干擾的圖像對(duì)之間進(jìn)行的，不存在任何標(biāo)準(zhǔn)模板進(jìn)行匹配。

立體匹配方法一般包含以下三個(gè)問(wèn)題：（1）基元的選擇，即選擇適當(dāng)?shù)膱D像特征如點(diǎn)、直線、相位等作為匹配基元；（2）匹配的準(zhǔn)則，將關(guān)于物理世界的某些固有特征表示為匹配所必須遵循的若干規(guī)則，使匹配結(jié)果能真實(shí)反映景物的本來(lái)面目；（3）算法結(jié)構(gòu)，通過(guò)利用適當(dāng)?shù)臄?shù)學(xué)方法設(shè)計(jì)能正確匹配所選擇基元的穩(wěn)定算法。根據(jù)匹配基元的不同，立體視覺(jué)匹配算法目前主要分為三大類(lèi)，即區(qū)域匹配、相位匹配和特征匹配：基于區(qū)域灰度的匹配算法是把一幅圖像（基準(zhǔn)圖）中某一點(diǎn)的灰度鄰域作為模板，在另一幅圖像（待匹配圖）中搜索具有相同（或相似）灰度值分布的對(duì)應(yīng)點(diǎn)鄰域，從而實(shí)現(xiàn)兩幅圖像的匹配。

這類(lèi)算法的性能取決于度量算法及搜索策略的選擇。另外，也必須考慮匹配窗口大小、形式的選擇，大窗口對(duì)于景物中存在的遮擋或圖像不光滑的情況會(huì)更多的出現(xiàn)誤匹配，小窗口則不具有足夠的灰度變化信息，不同的窗口形式對(duì)匹配信息也會(huì)有不同的影響。

因此應(yīng)該合理選取匹配區(qū)域的大小和形式來(lái)達(dá)到較好的匹配結(jié)果。相位匹配是近二十年發(fā)展起來(lái)的。

與普通的圖像模板匹配不同的是，立體匹配是通過(guò)在兩幅或多幅存在視點(diǎn)差異、幾何畸變、灰度畸變、噪聲干擾的圖像對(duì)之間進(jìn)行的，不存在任何標(biāo)準(zhǔn)模板進(jìn)行匹配。立體匹配方法一般包含以下三個(gè)問(wèn)題：（1）基元的選擇，即選擇適當(dāng)?shù)膱D像特征如點(diǎn)、直線、相位等作為匹配基元；（2）匹配的準(zhǔn)則，將關(guān)于物理世界的某些固有特征表示為匹配所必須遵循的若干規(guī)則，使匹配結(jié)果能真實(shí)反映景物的本來(lái)面目；（3）算法結(jié)構(gòu)，通過(guò)利用適當(dāng)?shù)臄?shù)學(xué)方法設(shè)計(jì)能正確匹配所選擇基元的穩(wěn)定算法。

根據(jù)匹配基元的不同，立體視覺(jué)匹配算法目前主要分為三大類(lèi)，即區(qū)域匹配、相位匹配和特征匹配：基于區(qū)域灰度的匹配算法是把一幅圖像（基準(zhǔn)圖）中某一點(diǎn)的灰度鄰域作為模板，在另一幅圖像（待匹配圖）中搜索具有相同（或相似）灰度值分布的對(duì)應(yīng)點(diǎn)鄰域，從而實(shí)現(xiàn)兩幅圖像的匹配。這類(lèi)算法的性能取決于度量算法及搜索策略的選擇。

另外，也必須考慮匹配窗口大小、形式的選擇，大窗口對(duì)于景物中存在的遮擋或圖像不光滑的情況會(huì)更多的出現(xiàn)誤匹配，小窗口則不具有足夠的灰度變化信息，不同的窗口形式對(duì)匹配信息也會(huì)有不同的影響。因此應(yīng)該合理選取匹配區(qū)域的大小和形式來(lái)達(dá)到較好的匹配結(jié)果。

相位匹配是近二十年發(fā)展起來(lái)的一種匹配算法，相位作為匹配基元，即認(rèn)為圖像對(duì)中的對(duì)應(yīng)點(diǎn)局部相位是一致的。最常用的相位匹配算法有相位相關(guān)法和相位差——頻率法，雖然該方法是一種性能穩(wěn)定、具有較強(qiáng)的抗輻射抗透視畸變能力、簡(jiǎn)單高效、能得到稠密視差圖的特征匹配方法。

但是，當(dāng)局部結(jié)構(gòu)存在的假設(shè)不成立時(shí)，相位匹配算法因帶通輸出信號(hào)的幅度太低而失去有效性，也就是通常提到的相位奇點(diǎn)問(wèn)題，在相位奇點(diǎn)附近，相位信息對(duì)位置和頻率的變化極為敏感，因此用這些像素所確定的相位差異來(lái)衡量匹配誤差將導(dǎo)致極不可靠的結(jié)果。此外，相位匹配算法的收斂范圍與帶通濾波器的波長(zhǎng)有關(guān)，通常要考慮相位卷繞，在用相位差進(jìn)行視差計(jì)算時(shí)，由于所采用的相位只是原信號(hào)某一帶通條件下的相位，故視差估計(jì)只能限制在某一限定范圍之內(nèi)，隨視差范圍的增大，其精確性會(huì)有所下降。

基于特征的圖像匹配方法是目前最常用的方法之一，由于它能夠?qū)?duì)整個(gè)圖像進(jìn)行的各種分析轉(zhuǎn)化為對(duì)圖像特征（特征點(diǎn)、特征曲線等）的分析的優(yōu)點(diǎn)，從而大大減小了圖像處理過(guò)程的計(jì)算量，對(duì)灰度變化、圖像變形、噪音污染以及景物遮擋等都有較好的適應(yīng)能力?；谔卣鞯钠ヅ浞椒ㄊ菫槭蛊ヅ溥^(guò)程滿足一定的抗噪能力且減少歧義性問(wèn)題而提出來(lái)的。

與基于區(qū)域的匹配方法不同，基于特征的匹配方法是有選擇地匹配能表示景物自身特性的特征，通過(guò)更多地強(qiáng)調(diào)空間景物的結(jié)構(gòu)信息來(lái)解決匹配歧義性問(wèn)題。這類(lèi)方法將匹配的搜索范圍限制在一系列稀疏的特征上。

利用特征間的距離作為度量手段，具有最小距離的特征對(duì)就是最相近的特征對(duì)，也就是匹配對(duì)。特征間的距離度量有最大最小距離、歐氏距離等。

特征點(diǎn)匹配算法嚴(yán)格意義上可以分成特征提取、特征匹配和消除不良匹配點(diǎn)三步。特征匹配不直接依賴于灰度，具有較強(qiáng)的抗干擾性。

該類(lèi)方法首先從待匹配的圖像中提取特征，用相似性度量和一些約束條件確定幾何變換，最后將該變換作用于待匹配圖像。匹配中常用的特征基元有角點(diǎn)、邊緣、輪廓、直線、顏色、紋理等。

同時(shí)，特征匹配算法也同樣地存在著一些不足，主要表現(xiàn)為：（l）特征在圖像中的稀疏性決定了特征匹配只能得到稀疏的視差場(chǎng)，要獲得密集的視差場(chǎng)必須通過(guò)使用插值的過(guò)程，插值過(guò)程通常較為復(fù)雜。（2）特征的提取和定位的準(zhǔn)確與否直接影響特征匹配結(jié)果的精確度。

（3）由于其應(yīng)用場(chǎng)合的局限性，特征匹配往往適用于具有特征信息顯著的環(huán)境中，在缺少顯著主導(dǎo)特征環(huán)境中該方法有很大困難?？傊?，特征匹配基元包含了算法編程上的靈活性。

6.關(guān)于眼睛的一些經(jīng)典的小知識(shí)

眼，視覺(jué)器官。亦稱(chēng)眼睛、目、招子，是大部分動(dòng)物接收光線并在大腦形成影像的器官。對(duì)于人類(lèi)來(lái)說(shuō)，它是視覺(jué)器官，最重要的感覺(jué)器官之一。眼是一個(gè)非常精細(xì)的器官，可以在不同的環(huán)境下對(duì)自己 的具體形態(tài)進(jìn)行改變，使得人類(lèi)在復(fù)雜的環(huán)境中獲取正確的信息。

最簡(jiǎn)單的眼睛結(jié)構(gòu)可以探測(cè)周?chē)h(huán)境的明暗，更復(fù)雜的眼睛結(jié)構(gòu)可以提供視覺(jué)（復(fù)眼通常在節(jié)肢動(dòng)物，例如昆蟲(chóng)中發(fā)現(xiàn)，通常有很多簡(jiǎn)單的小眼面組成，并產(chǎn)生一個(gè)影像）。

在很多脊椎動(dòng)物和一些軟體動(dòng)物中，眼睛通過(guò)把光投射到對(duì)光敏感的視網(wǎng)膜成像，在那里，光線被接收并轉(zhuǎn)化成信號(hào)并通過(guò)視神經(jīng)傳遞到腦部。通常眼睛是球狀的，當(dāng)中充滿透明的凝膠狀的物質(zhì)，有一個(gè)聚焦用的晶狀體，通常還有一個(gè)可以控制進(jìn)入眼睛光線多少的虹膜。

而且，人眼睛的顏色取決于虹膜。

7.雙目立體視覺(jué)重構(gòu)三維空間點(diǎn)時(shí)候,如何考慮畸變因素

人類(lèi)的空間知覺(jué)系由兩種因素所組成。一種并不是人體固有的，它是由過(guò)去的實(shí)踐經(jīng)驗(yàn)所形成的一種空間判斷能力。另一種，是人體固有的本能，它是由于兩眼視網(wǎng)膜像的輕度差異所導(dǎo)致的立體感覺(jué)。前者可以由單獨(dú)一只眼去實(shí)現(xiàn)，而后者要靠?jī)裳鄣穆?lián)合作用去完成。再者，正常的雙眼空間定位是根據(jù)兩眼的正常像差所形成，當(dāng)兩眼的像差超過(guò)了正常范圍，必然地要發(fā)生錯(cuò)誤的空間定位，因而導(dǎo)致所處環(huán)境中各種物貌的改變。

兩眼對(duì)著圖中的 F 點(diǎn)注視時(shí)，兩眼單視圖上的兩個(gè)物體 A 和 B 在兩眼視網(wǎng)膜的對(duì)應(yīng)點(diǎn)處結(jié)成像點(diǎn)為 a 和 b ，如把水平性等像透鏡放在右眼之前，使右眼所成的像均沿著水平子午線放大，則原來(lái)的 AB ，在右眼看來(lái)變?yōu)?A 1 B 1 。右眼視網(wǎng)膜上的像亦由 ab 變?yōu)?a ′ b ′ ，但左眼者不變。因?yàn)槟軌蛲瑫r(shí)刺激左眼 a 點(diǎn)和右眼 a ′ 點(diǎn)的物體只有 c 點(diǎn)，因而被試者感到 A 點(diǎn)向 C 點(diǎn)移近。又因?yàn)槟軌蛲瑫r(shí)刺激左眼 b 點(diǎn)和右眼 b ′ 點(diǎn)的物體只有 D 點(diǎn)，因而感到 F 點(diǎn)向 D 點(diǎn)后退。由于物像在視網(wǎng)膜上的水平差異，因而產(chǎn)生外界實(shí)體的畸變，使圖中的 AB 平面以 F 為固定點(diǎn)向 CD 的位置旋轉(zhuǎn)。

假若被試者右眼戴著等像透鏡，觀察正前方的兩條大小相同、距離相等的豎立著的棍子，會(huì)感到右側(cè)的要粗大些，并且距離要遠(yuǎn)些。整個(gè)視野的物體部是右半較大些。一個(gè)平的桌面變得右側(cè)向下，左側(cè)向上偏斜。受試者所處的地平面也發(fā)生同樣的偏斜，好像在一個(gè)斜坡上走動(dòng)。如果觀察人臉，也是右側(cè)大些.成為不對(duì)稱(chēng)的怪樣子：正方形的物體都成為不規(guī)則的四邊形，圓形成為卵圓形。如果這個(gè)試驗(yàn)繼續(xù)一段相當(dāng)長(zhǎng)的時(shí)間，這些不常見(jiàn)的怪現(xiàn)象會(huì)慢慢地消失。 Burian 于 1943 年的實(shí)驗(yàn)證實(shí)，如果戴著這種鏡子堅(jiān)持 3~4d ，并且生活在熟悉的環(huán)境中，上述的畸變就可完全消失。但是如果把他領(lǐng)進(jìn)—個(gè)參照景物較少的生疏環(huán)境中上述視畸變又會(huì)再次出現(xiàn)。

從上面的試驗(yàn)不難看出，盡管兩眼空間視覺(jué)的最基本條件：正常范圍的雙眼像差受到影響，但仍可用視覺(jué)心理的因素予以糾正。這種糾正首先是靠實(shí)踐，也就是除了視覺(jué)以外的其他感覺(jué)器官，如手、足等，直接與外界物體的接觸，還有大腦的高級(jí)神經(jīng)活動(dòng)的興奮和抑制作用的互相協(xié)調(diào)。既要實(shí)踐，就要時(shí)間，所需時(shí)間的長(zhǎng)短，與被糾正的難易程度和各人的神經(jīng)體質(zhì)、精神狀態(tài)有很大關(guān)系。因此，如果兩眼像差不很明顯，在正常情況下并不顯現(xiàn)癥狀，但當(dāng)身體暫時(shí)虛弱，精神沮喪，或者高空飛行員，由于客觀環(huán)境的改變，部可以保高空缺氧時(shí)，隱性斜視變?yōu)轱@性斜視—樣，導(dǎo)致像不等癥狀的出現(xiàn)。