超分辨率

超分辨率重建的核心思想就是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率,實現時間分辨率向空間分辨率的轉換。

在大量的電子圖像應用領域，人們經常期望得到高分辨率（簡稱HR）圖像。高分辨率意味着圖像中的像素密度高，能夠提供更多的細節，而這些細節在許多實際應用中不可或缺。例如，高分辨率醫療圖像對於醫生做出正確的診斷是非常有幫助的；使用高分辨率衞星圖像就很容易從相似物中區別相似的對象；如果能夠提供高分辨的圖像，計算機視覺中的模式識別的性能就會大大提高。自從上世紀七十年代以來，電荷耦合器件(CCD)、CMOS圖像傳感器已被廣泛用來捕獲數字圖像。儘管對於大多數的圖像應用來説這些傳感器是合適的，但是當前的分辨率水平和消費價格不能滿足今後的需求。例如，人們希望得到一個便宜的高分辨率數碼相機/便攜式攝像機，或者期望其價格逐漸下降；科學家通常需要一個非常高的接近35毫米模擬膠片的分辨率水平，這樣在放大一個圖像的時候就不會有可見的瑕疵。因此，尋找一種增強當前分辨率水平的方法是非常必須的。

增加空間分辨率最直接的解決方法就是通過傳感器製造技術減少像素尺寸（例如增加每單元面積的像素數量）。然而，隨着像素尺寸的減少，光通量也隨之減少，它所產生的散粒噪聲使得圖像質量嚴重惡化。不受散粒噪聲的影響而減少像素的尺寸有一個極限，對於0.35微米的CMOS處理器，像素的理想極限尺寸大約是40平方微米。當前的圖像傳感器技術大多能達到這個水平。

另外一個增加空間分辨率的方法是增加芯片的尺寸，從而增加圖像的容量。因為很難提高大容量的偶合轉換率，因此這種方法一般不認為是有效的。在許多高分辨率圖像的商業應用領域，高精度光學和圖像傳感器的高價格也是一個必須考慮的重要因素。因此，有必要採用一種新的方法來增加空間分辨率，從而克服傳感器和光學制造技術的限制。

一種很有前途的方法就是採用信號處理的方法從多個可觀察到的低分辨率（簡稱LR）圖像得到高分辨率圖像。最近這樣的一種分辨率增強技術正成為最熱的研究領域之一，在文獻中人們把它叫超分辨率（簡稱SR或者HR）圖像復原或者簡單地叫做分辨率增強。本文中我們用“超分辨率圖像復原”這個術語來指分辨率增強的信號處理方法，因為在克服低分辨率圖像系統固有的分辨率限制方面，“超分率”術語中的“超”字代表了一個非常好的技術特性。信號處理方法最大的好處就是它的成本低，同時現存的低分辨率圖像系統仍能使用。在許多實際應用中，特別是在醫療圖像、衞星圖像和視頻等領域，同樣場景的多幀低分辨率圖像很容易得到的情況下，SR圖像復原被證明是非常有用的。一種應用就是用便宜的LR數碼相機/便攜式攝像機復原高質量的數字圖像以便打印/停格使用，通常對於一個便攜式攝像機，很有可能連續顯示放大幀；另外一種非常重要的應用是在監控、法院、科學、醫療和衞星圖像應用中縮放感興趣區域（簡稱ROI），例如，在監控和法院中，數字攝像機（簡稱DVR）已經普遍取代了閉路電視（簡稱CCTV），就很有必要放大場景中的目標如汽車牌照或者疑犯的臉部。在諸如CT和核磁共振（簡稱MRI）等醫療應用中，分辨率質量有限的而獲取多幅圖像有是可能的情況下，SR技術是非常有用的；在遙感和地球資源衞星（簡稱LANDSAT）一類衞星圖像應用中，在同一地區的多幅圖像可提供的情況下，可以考慮使用SR技術增強目標的分辨率；另外一種非常迫切而現實的應用是把一般的NTSC格式低清電視信號轉換為高清電視信號（簡稱HDTV）而不失真地在HDTV上播放。

我們如何從多幅LR圖像中得到HR圖像？在基於SR的空間分辨率增強技術中，其基本前提是通過同一場景可以獲取多幅LR細節圖像。在SR中，典型地認為LR圖像代表了同一場景的不同側面，也就是説LR圖像是基於亞像素精度的平移亞採樣。如果僅僅是整數單位的像素平移，那麼每幅圖像中都包含了相同的信息，這樣就不能為HR圖像的復原提供新的信息。如果每幅LR圖像彼此之間都是不同的亞像素平移，那麼它們彼此之間就不會相互包含，在這種情況下，每一幅LR圖像都會為HR圖像的復原提供一些不同的信息。為了得到同一場景的不同側面，必須通過一幀接一幀的多場景或者視頻序列的相關的場景運動。我們可以通過一台照相機的多次拍攝或者在不同地點的多台照相機獲取多個場景，例如在軌道衞星一類可控制的圖像應用中，這種場景運動是能夠實現的；對於局部對象移動或者震盪一類的不可控制的圖像應用也是同樣能實現的。如果這些場景運動是已知的或者是在亞像素精度範圍了可估計的，同時如果我們能夠合成這些HR圖像，那麼SR圖像復原是可以實現的。

與SR技術相關的一個課題是圖像修復，這是一個在圖像應用中被大量處理的領域，圖像修復的目標是恢復一個被模糊或者噪聲破壞的圖像，但是它不改變圖像的尺寸。事實上圖像修復和SR復原在理論是完全相關的，SR復原可以看作是第二代圖像修復課題。

與SR技術相關的另一個課題是圖像插值，即增加單幅圖像的尺寸。儘管這個領域已經被廣泛地研究，即使一些基本的功能已經建立，從一幅近似的LR圖像放大圖像的質量仍然是有限的，這是因為對單幅圖像插值不能恢復在LR採樣過程中損失的高頻部分。因此圖像插值方法不能被認作是SR技術。為了在這方面有更大的改進，下一步就需要應用基於同一場景的相關的額外數據。基於同一場景的不同的觀察信息的融合就構成了基於場景的SR復原。