全景鏡頭

全景技術是目前迅速發展的一種新型視覺技術，利用特殊的全景成像裝置可以獲得水平方 向上全360°，在垂直方向一定 角度 的視 場。這 種 成像方式能實時提供對象和環境的全方位信息，為後續的圖像處理和分析爭取時間。全景鏡頭技術在機器視覺、管道探測、醫學內窺檢查、周視監測等方面有着非常重要的意義，在航空、國 防、民用、醫學等領域有着廣泛的應用前景。 ^[1] 

早期為了獲得大視場成像，通常採用魚眼透鏡和旋轉拼接技術，利用魚眼透鏡能獲得接近半球的視場，但其 畸 變 較大，且結構複雜，造價昂貴；旋轉拼接技術缺點是視場拼接複雜，不易小型化，且不能對環境瞬時成像，實時性較差。為獲得360°全景像，人們提出了平面圓柱投影法（flat cylinder perspective，FCP），將一個柱面視場投影到二維像平面。繼 Mangin在1878年採用這種方法設計了觀察天空的全景望遠 鏡 後，世界各地 都出現了採用平面圓柱投影法的全景光 學系統專利，按反射次數分類可分為兩類：單反射面折反射全景成像系統和多次反射面折反射全景成像系統前 者 特點是：成像視場大，結構簡單，成本低廉，且單個反射面易於設計和加工，缺點是大視場情況下反射面比較龐大，系統很難小型化；後者採用多次反射獲得大視場，系統較小，結構緊湊。其中應用較廣泛的是 P．Greguess在1986年提出的全景環形鏡頭，其將反射面和折射面集成在同一透鏡上，結構較緊湊。 ^[2] 

全景環形鏡頭的核心元件是前端的凹凸反射鏡結構，它是實現大視場成像的基礎，其結構如圖1所示。凹凸反射鏡結構包括2個折射面（3，4）和2個反射面（1，2），軸上光線及小角度入射光線被反射鏡1阻擋，無法進入全景鏡頭成像，形成中央盲區。物空間 AB 區域內 發 出的光 線 從 折 射面 3入射，經過反射面2反射後，再經過反射面1，最後通過折射面4出射，其先在兩鏡結構內成一虛像，中間虛像經過中續系統轉接後再成像在像面探測器上形成環帶像。入射光線從折射面3入射時，光軸下半部分光線入射到反射面2上半部分，光軸上半部分光線入射到反射面2下半部分，這樣大大提高了系統的視場範圍，使得整個 系 統成 為 具有大視場角的光學系統。全景環 形 鏡 頭 在 探 測 器 上 所 成 的 像 為 環 帶像，同一視場角下的景物在像面上位於同一個圓，該圓的半徑就是像高。環狀像面的內半徑由環帶鏡頭視場上邊緣對應的視場 角 決 定，外 半 徑由 環帶鏡頭的下邊緣對應的視場角決定。

P. Greguss提出的全景環形鏡頭模型,成像原理為由兩個折射面和兩個反射面構成前面的模塊,以一定角度入射的光束經全景環形成像模塊的兩次折射和兩次反射後在全景環形模塊的內部或後面形成一虛像,中繼系統轉接中間虛像,並將最後的像成在像面傳感器上。全景環形結構的兩次反射都發生在全景環形模塊的內部,其特殊的結構和成像模式使其對光線的走向有嚴格的限制,入射的全口徑光束中僅有一部分能通過全景環形鏡頭成像,所以入射光束的寬度相對較小,且不同角度入射的光束從第一個折射面的不同位置入射,相當於掃描成像系統中的角度掃描,整體系統近似滿足f-θ成像,像高h= fθ。

期以來,人們一直對於全景成像技術的實現方式有濃厚的興趣,傳統的成像設備基於中心投影法,是人眼觀察外部世界的方式,也是針孔相機的成像方式,為了獲得360°的全景圖像,需要一個無限大的像平面,物理上很難實現。 ^[3]  隨着計算機技術和數字圖像傳感器的發展,對數字相機繞其光軸旋轉所拍得的序列圖像進行無縫拼接,既可以獲得人工合成的全景圖像,也可以採取圍繞一個固定點安裝多個攝像機,使得攝像機的全部視場加起來形成全景視場,所得到的圖像仍然需要拼接,成像機理仍然是中心投影法。為了克服中心投影法的缺陷,人們提出了平面圓柱投影法,在三維空間視場和有限的二維像平面建立了一種新的投影關係,即將三維圓柱區域通過特殊的系統投影到二維平面的圓環區域,如圖2所示。環形像的寬度對應圓柱視場上與光軸形成的視場角,相面上的每個同心圓代表物空間與光軸成一定夾角的圓柱面的投影,滅點在圓心,其中張角T所對應的圓柱面是視場區域,2U角所圍成的區域為視場的盲區,T和U隨系統的不同大小有差別。

一種有效的實現大視場方式的方式是基於魚眼透鏡的成像系統,魚眼透鏡實際上是超廣角物鏡,超廣角物鏡由於有非常短的焦距,通常焦距小於16mm,因此能獲得接近半球或者大於半球的全景視場,圖3為一種結構的魚眼透鏡,在獲得大視場的同時,魚眼透鏡的設計者必須做出犧牲,即允許桶形畸變的存在,結果是除了圖像中心的景物保持不變,其它本應水平和垂直的景物沿各個方向從中心向外輻射。目前該技術發展已經比較成熟,很難再增大視場。雖然理論上物像關係是一一對應,但是因為結構複雜,故校正起來比較困難。另外,為了獲得大於半球的視場,高質量的魚眼透鏡通常要採用10片以上的透鏡和高質量的光學材料,系統複雜,造價昂貴。 ^[4] 

隨着計算機和數字圖像處理技術的發展,採用常規光學鏡頭,繞與光軸垂直的固定軸旋轉,或者圍繞垂直光軸的固定點安裝多個常規成像系統,將得到的序列圖像進行拼接,得到人工製造的全景圖像,這是一種硬件和軟件相結合的方法。國內一些機構在80年代就研製出旋轉式全景相機並投入使用。其中硬件部分必須有精確的轉動機構,常規相機可以是普通透鏡相機也可以是魚眼透鏡的相機,採用後者的好處在於它本身已經有很大的視場,所以一般只需要2～ 3幅圖像就可以獲得全景,但是圖像需要校正。圖為旋轉拼接式全景成像的模型,攝像機通過圍繞固定點旋轉掃描得到全景視場。由硬件部分得到的序列圖像必須通過軟件進行無縫拼接,目前有大量的商業和免費的圖像拼接軟件,例如Pixround公司PixMaker Value軟件可以將不同方向視場的圖像進行無縫拼接,得到一幅全景圖像,。

該系統的缺點在於由於系統中存在轉動機構,故系統的實時性很難得到滿足,在實時性要求較高的場合無法應用。由於每一幅要拼接的圖像是用常規相機獲得,可以得到很高的分辨力,因此拼接後的整個全景圖像的分辨力也很高,前面提到了“勇氣”號火星探測的全景相機就是採用常規相機旋轉構成。在計算機視覺和一些實時性要求不高的場合,尤其是全景3D的重建,該技術得到了廣泛的應用。

折反射全景成像遵循平面圓柱投影法,圖像的滅點不再是一條直線,而是一個點,系統是在常規成像系統的前面加入反射面達到圓柱投影的目的,經過精心設計,可以使它的成像範圍大大超過遵循中心投影法的純折射式系統,且容易構成f-θ系統。最簡單的折反射全景成像系統由一個常規的相機和一個反射面構成,如圖4所示。折反射全景光學系統按照其是否滿足單視點約束可以分為單視點成像系統和非單視點成像系統。單視點滿足針孔成像模型,也是目前計算機視覺所採用的基本模型,但是單視點物像關係對應複雜,透視全景成像的校正算法複雜,計算量大;非單視點全景成像系統由於視點不是固定點,而是在一個比較小的區域,因此物像關係可以線性的對應,使得全景投影算法簡單。 ^[5] 

按照反射次數的多少,折反射全景成像系統可以分為單反射面全景成像系統和多反射面全景成像系統(一般反射兩次)。單反射全景成像系統採用現成的成像設備,結構簡單,成本低廉,單個反射面易於設計加工,但缺點是不利於系統的小型化,要獲得大視場,反射面設計的比較龐大,系統很難集成;多反射面全景成像系統採用多次反射,獲得大視場,將反射面和折射面集成在一起,系統較小,結構緊湊,缺點是光學結構設計複雜。