圖像匹配

定義：通過對影像內容、特徵、結構、關係、紋理及灰度等的對應關係，相似性和一致性的分析，尋求相似影像目標的方法

圖像匹配即通過一定的匹配算法在兩幅或多幅影像之間識別同名點的過程。

圖像匹配是指通過一定的匹配算法在兩幅或多幅圖像之間識別同名點，如二維圖像匹配中通過比較目標區和搜索區中相同大小的窗口的相關係數，取搜索區中相關係數最大所對應的窗口中心點作為同名點。其實質是在基元相似性的條件下，運用匹配準則的最佳搜索問題。

圖像匹配主要可分為以灰度為基礎的匹配和以特徵為基礎的匹配。

灰度匹配的基本思想:以統計的觀點將圖像看成是二維信號，採用統計相關的方法尋找信號間的相關匹配。利用兩個信號的相關函數，評價它們的相似性以確定同名點。

灰度匹配通過利用某種相似性度量，如相關函數、協方差函數、差平方和、差絕對值和等測度極值，判定兩幅圖像中的對應關係。

最經典的灰度匹配法是歸一化的灰度匹配 法，其基本原理是逐像素的把一個以一定大小的實時圖像窗口的灰度矩陣，與參考圖像的所有可能的窗口灰度陣列，按某種相似性度量方法進行搜索比較的匹配方法，從理論上説就是採用圖像相關技術。

利用灰度信息匹配方法的主要缺陷是計算量太大，因為使用場合一般都有一定的速度要求，所以這些方法很少被使用。現在已經提出了一些相關的快速算法，如幅度排序相關算法，FFT相關算法和分層搜索的序列判斷算法等。

特徵匹配是指通過分別提取兩個或多個圖像的特徵（點、線、面等特徵），對特徵進行參數描述，然後運用所描述的參數來進行匹配的一種算法。

基於特徵的匹配所處理的圖像一般包含的特徵有顏色特徵、紋理特徵、形狀特徵、空間位置特徵等。

特徵匹配首先對圖像進行預處理來提取其高層次的特徵，然後建立兩幅圖像之間特徵的匹配對應關係，通常使用的特徵基元有點特徵、邊緣特徵和區域特徵。 特徵匹配需要用到許多諸如矩陣的運算、梯度的求解、還有傅立葉變換和泰勒展開等數學運算。

常用的特徵提取與匹配方法有：統計方法、幾何法、模型法、信號處理法、邊界特徵法、傅氏形狀描述法、幾何參數法、形狀不變矩法等。

基於圖像特徵的匹配方法可以克服利用圖象灰度信息進行匹配的缺點，由於圖像的特徵點比較像素點要少很多，大大減少了匹配過程的計算量;同時，特徵點的匹配度量值對位置的變化比較敏感，可以大大提高匹配的精確程度;而且，特徵點的提取過程可以減少噪聲的影響，對灰度變化，圖像形變以及遮擋等都有較好的適應能力。所以基於圖像特徵的匹配在實際中的應用越來越廣泛。所使用的特徵基元有點特徵(明顯點，角點，邊緣點等)，邊緣線段等。

特徵匹配與灰度匹配的區別：灰度匹配是基於像素的，特徵匹配則是基於區域的，特徵匹配在考慮像素灰度的同時還應考慮諸如空間整體特徵、空間關係等因素。

特徵是圖像內容最抽象的描述，與基於灰度的匹配方法相比，特徵相對於幾何圖像和輻射度影響來説更不易變化，但特徵提取方法的計算代價通常較大，並且需要一些自由參數和事先按照經驗選取的閥值，因而不便於實時應用。同時，在紋理較少的圖像區域提取的特徵的密度通常比較稀少，使局部特徵的提取比較困難。另外，基於特徵的匹配方法的相似性度量也比較複雜，往往要以特徵屬性、啓發式方法及閥方法的結合來確定度量方法。

同一場景在不同條件下投影所得到的二維圖像會有很大的差異，這主要是由如下原因引起的：傳感器噪聲、成像過程中視角改變引起的圖像變化、目標移動和變形、光照或者環境的改變帶來的圖像變化以及多種傳感器的使用等。為解決上述圖像畸變帶來的匹配困難，人們提出了許多匹配算法，而它們都是由如下四個要素組合而成：

（1）特徵空間

特徵空間是由參與匹配的圖像特徵構成的，選擇好的特徵可以提高匹配性能、降低搜索空間、減小噪聲等不確定性因素對匹配算法的影響。匹配過程可以使用全局特徵或者局部特徵以及兩者的結合。

（2）相似性度量

相似性度量指用什麼度量來確定待匹配特徵之間的相似性，它通常定義為某種代價函數或者是距離函數的形式。經典的相似性度量包括相關函數和 Minkowski 距離，近年來人們提出了 Hausdorff 距離、互信息作為匹配度量。Hausdorff 距離對於噪聲非常敏感，分數 Hausdorff 距離能處理當目標存在遮擋和出格點的情況，但計算費時；基於互信息的方法因其對於照明的改變不敏感已在醫學等圖像的匹配中得到了廣泛應用，它也存在計算量大的問題，而且要求圖像之間有較大的重疊區域。

（3）圖像匹配變換類型

圖像幾何變換用來解決兩幅圖像之間的幾何位置差別，它包括剛體變換、仿射變換、投影變換、多項式變換等。

（4）變換參數的搜索

搜索策略是用合適的搜索方法在搜索空間中找出平移、旋轉等變換參數的最優估計，使得圖像之間經過變換後的相似性最大。搜索策略有窮盡搜索、分層搜索、模擬退火算法、Powell方向加速法、動態規劃法、遺傳算法和神經網絡等。遺傳算法採用非遍歷尋優搜索策略，可以保證尋優搜索的結果具有全局最優性，所需的計算量較之遍歷式搜索小得很多；神經網絡具有分佈式存儲和並行處理方式、自組織和自學習的功能以及很強的容錯性和魯棒性，因此這兩種方法在圖像匹配中得到了更為廣泛的使用。

在成像過程中，由於噪聲及遮擋等原因，導致一幅圖像中的特徵基元在另一幅圖像中有幾個候選特徵基元或者無對應基元，這些都是初級視覺中的“不適定問題”，通常在正則化框架下用各種約束條件來解決。常用的約束有唯一性約束、連續性約束、相容性約束和順序一致性約束。首先提取左右圖像對中的線段，用對應線段滿足的全局約束、相容性約束、鄰域約束等表示 HopfieIk 神經網絡的能量函數，通過最小化能量函數得到兩幅圖像中的對應線段，提高了匹配的可靠性。同時人們還採用最小平方中值法和投票算法等後處理來有效地消除假配點和誤配點。

迄今為止，人們已經提出了各種各樣的圖像匹配算法，但從總體上講，這些匹配算法可以分成關係結構匹配方法、結合特定理論工具的匹配方法、基於灰度信息的匹配方法、基於亞像元匹配方法、基於內容特徵的匹配方法五大類型

所謂關係結構主要是指語義網絡。這種方法是把計算機中的模型同外部世界中的物體或現象建立起對應關係，即利用圖像的結構特徵或關係特徵之間的關係，把物體和物體間的關係表示成結構，通過沿圖中的弧作關聯搜索，建立圖中結點之間的關係，藉助語義網絡、框架理論和圖論方法尋求匹配問題的解決。進一步講，這種方法是人工智能技術在圖像匹配領域的應用，在這個意義上，景物可用知識和規則來描述，利用知識和規則實質上是給景物賦予了一種解釋，故這種方法也稱為基於解釋的匹配。這種方法在實現時，為了減少計算量而使結構與點之間關係的描述常常是不完全的，並且它們缺乏一種有效的衡量點集之間是否相同的手段，所以這種方法的研究至今尚未取得突破性進展。

近年來，隨着各學科許多新理論和方法的提出，人們也提出了許多與特定理論、方法和工具相結合的匹配技術，比如基於神經網絡的匹配技術 151141、基於小波分析和變換的匹配技術 151101171 等等。由於神經網絡的並行分佈處理等特點，神經網絡匹配方法理所當然地引起了人們的重視，利用神經網絡進行圖像匹配的基本方法是:首先利用某種特徵提取算法也可以是神經網絡算法對圖像進行預理，並按要求提取一定數量的特徵點接着根據構造的某種神經網絡算法的要求，選取並輸入網絡需要的一些初始狀態，同時也將選取的特徵點作為基本輸入參數然後啓動神經網絡算法的迭代過程，可能還要有學習過程最後給出迭代結果，並對其進行分析評價。神經網絡匹配方法的這種匹配過程有以下缺陷:l 特徵點的選取還無法自動實現，目前的研究僅限於一些邊緣稜角突出的匹配識別實驗等2網絡需要的初始狀態的選擇對網絡迭代過程影響較大，選擇不當還會造成不收斂或陷於某一極值而不能自拔3特徵提取的預處理，神經網絡的學習和迭代過程都是計算代價比較昂貴的過程。由此可見，雖然神經網絡匹配方法取得了一些初步進展，但由於收斂性、通用性不夠理想，還無法用於灰度變化平緩、特徵不突出的圖像匹配，與實用性和實時性要求相差甚遠。小波變換作為一種新的數學工具，由於其良好的時頻局部化和多分辨分析特點，因而能有效地從信號中提取信息，通過伸縮和平移等運算功能對函數或武漢理工大學碩士學位論文信號進行多尺度分析，解決了傅立葉變換不能解決的許多問題。基於小波變換的匹配技術首先對匹配圖和模板圖同時進行小波變換:然後分別在不同尺度上，將匹配圖和模板圖的低頻圖像利用前面敍述的匹配算法進行匹配運算，通過設置門限等選擇一些位置點作為最終可信點最後對匹配圖和模板圖的原始圖像進行匹配。不足之處是小波基的選取給匹配帶來了一定的困難。總之，基於小波變換的匹配技術利用它多分辨分析的思想，構造圖像的塔式分解，可由粗到精的分析圖像數據，在圖像匹配中，先在低分辨率下對圖像進行全局匹配，然後在高分辨率下對圖像的細部進行匹配，其結果減少了迭代時落入局部最優點的可能性，又提高了匹配運算速度和精度，因此成為目前的前沿課題之一。

基於灰度的匹配就是逐像素地把一個以一定大小的匹配圖像窗口的灰度矩陣與模板圖像的所有可能的窗口灰度陣列按某種相似性度量方法進行搜索比較的匹配方法，從理論上説就是採用圖像相關技術。圖像相關技術近二十年來得到了迅猛發展，並形成了一門新的學科。由於它與其它方法相比具有計算量小，易於硬件實現等優點，圍繞減少搜索空間和減少匹配時間的問題，人們相繼提出了序貫相似性檢測算法、兩級模板匹配算法、分層序貫匹配算法、多子區域相關匹配算法等各種快速匹配算法圍繞抗噪聲干擾和抗幾何失真問題，人們相繼提出了隨機符號變化準則、不變矩等算法同時，人們對與提高匹配精度和匹配速度有關的各種問題，比如定位精度、噪聲、灰度電平偏差、量化誤差等誤差因素對匹配性能的影響，各種預處理技術等都進行了比較系統的研究151。在早期的圖像匹配算法研究中，主要是對兩幅圖像空間域上的灰度值進行相關運算，根據相關係數的峯值，求出匹配位置。其中，常用的方法有:規一化互相關、統計相關、平均絕對差、平均平方差、基於 FFT 頻率域的頻域相關，包括相位相關和功率譜相關、不變矩。利用灰度信息匹配方法的主要缺陷是計算量太大，由於實際工作中一般都有一定的速度要求，所以這些方法很少被使用。現在己經提出了一些相關的快速算法，如幅度排序相關算法，FFT 相關算法和分層搜索的序列判斷算法等。

刃模式識別中的目標匹配和定位是一個傳統問題，已經提出許多經典算法，但是大多數定位精度都是象素級。由於大規模集成電路製造、攝影測量、工業檢測和目標檢測等應用對精度要求不斷提高，象素級的精度已經不能滿足要求了，而亞像元匹配可以突破物理分辨率的限制，提高匹配和定位精度，從而產生了亞像元匹配的算法研究，即:在己知待匹配圖像信息、粗匹配點座標、匹配模板信息的情況下，計算圖像匹配的亞像元級偏移。亞像元定位一般有 4 種方法:l 基於圖像高分辨率重採樣的方法2基於曲面擬合的方法3微分法:勺基於 Fourier 分析的相位法等。在實際應用中，經常使用重採樣和擬合方法。由於重採樣方法在實現插值時需花費大量的時間，而曲面擬合方法所能達到的精度是有限的，但所需時間極少，因此將這兩種方法相結合，既能達到所要求的精度，又減少所需時間，是圖像模板亞像元定位的一種新方法。

基於內容特徵的匹配首先提取反映圖像重要信息的特徵，而後以這些特徵為模型進行匹配。局部特徵有點、邊緣、線條和小的區域，全局特徵包括多邊形和稱為結構的複雜的圖像內容描述。特徵提取的結果是一個含有特徵的表和對圖像的描述，每一個特徵由一組屬性表示，對屬性的進一步描述包括邊緣的定向和弧度，邊與線的長度和曲率，區域的大小等。除了局部特徵的屬性外，還用這些局部特徵之間的關係描述全局特徵，這些關係可以是幾何關係，例如兩個相鄰的三角形之間的邊，或兩個邊之間的距離可以是輻射度量關係，例如灰度值差別，或兩個相鄰區域之間的灰度值方差或拓撲關係，例如一個特徵受限於另一個特徵。人們一般提到的基於特徵的匹配絕大多數都是指基於點、線和邊緣的局部特徵匹配，而具有全局特徵的匹配實質上是我們上面提到的關係結構匹配方法。特徵是圖像內容最抽象的描述，與基於灰度的匹配方法比，特相對於幾何圖像和輻射影響來説更不易變化，但特徵提取方法的計算代價通常較，並且需要一些自由參數和事先按照經驗選取的閉值，因而不便於實時應用同時，在紋理較少的圖像區域提取的特徵的密度通常比較稀少，使局部特徵的提 取比較困難。另外，基於特徵的匹配方法的相似性度量也比較複雜，往往要以特徵屬性、啓發式方法及閉方法的結合來確定度量方法。基於圖像特徵的匹配方法可以克服利用圖像灰度信息進行匹配的缺點，由於圖像的特徵點比象素點要少很多，因而可以大大減少匹配過程的計算量同時，特徵點的匹配度量值對位置的變化比較敏感，可以大大提高匹配的精確程度而且，特徵點的提取過程可以減少噪聲的影響，對灰度變化，圖像形變以及遮擋等都有較好的適應能力。所以基於圖像特徵的匹配在實際中的應用越來越廣-泛。所使用的特徵基元有點特徵明顯點、角點、邊緣點等、邊緣線段等。 ^[1-3] 

圖像匹配在遙感（製圖更新），以及計算機視覺應用程序。由於廣泛的應用到圖像匹配可以應用，這是不可能開發出的各種用途最優化的一般方法。

醫療用圖像註冊（對於同一患者在不同的時間點獲取的數據，例如變化的檢測或監測腫瘤）往往還包括彈性（也稱為非剛性）註冊，以應付這個問題的變形（由於呼吸，解剖學上的變化，等）。醫學圖像的非剛性註冊也可以用於註冊的患者數據，以解剖圖譜，如塔萊拉什圖譜用於神經成像。

它也被用在天文對齊截取的空間圖像。上的一個圖像使用控制點（自動或手動輸入），所述計算機執行變換以使主要特徵對準的第二圖像。

圖像匹配是全景影像創作的重要組成部分。還有，可以實時地執行，運行在諸如相機和照相手機的嵌入式設備的許多不同的技術。

有一定程度的不確定性與登記有任何時空差異的圖像相關聯。一個自信的登記與不確定性的度量，是許多重要的變化檢測應用，如醫療診斷。

在遙感應用中的數字圖像的像素可以表示幾公里的空間距離（如NASA的陸地衞星圖像），一個不確定的圖像匹配可意指一個解決辦法可以是從地面實況幾公里。幾個顯着的論文都試圖量化在圖像匹配中的不確定性，以便比較結果。然而，許多方法來量化的不確定性或推定的變形是計算密集的，或只適用於有限集的空間變換的。