虛擬存儲

目前虛擬存儲的發展尚無統一標準，從虛擬化存儲的拓撲結構來講主要有兩種方式：即對稱式與非對稱式。對稱式虛擬存儲技術是指虛擬存儲控制設備與存儲軟件系統、交換設備集成為一個整體，內嵌在網絡數據傳輸路徑中；非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立於數據傳輸路徑之外。從虛擬化存儲的實現原理來講也有兩種方式；即數據塊虛擬與虛擬文件系統。具體如下：

在圖1所示的對稱式虛擬存儲結構圖中，存儲控制設備 High Speed Traffic Directors（HSTD）與存儲池子系統Storage Pool集成在一起，組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數據交換的過程中起到核心作用。該方案的虛擬存儲過程是這樣的：由HSTD內嵌的存儲管理系統將存儲池中的物理硬盤虛擬為邏輯存儲單元（LUN），並進行端口映射（指定某一個LUN能被哪些端口所見），主機端將各可見的存儲單元映射為操作系統可識別的盤符。當主機向SAN Appliance寫入數據時，用户只需要將數據寫入位置指定為自己映射的盤符（LUN），數據經過HSTD的高速並行端口，先寫入高速緩存，HSTD中的存儲管理系統自動完成目標位置由LUN到物理硬盤的轉換，在此過程中用户見到的只是虛擬邏輯單元，而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點：

（1）採用大容量高速緩存，顯著提高數據傳輸速度。

緩存是存儲系統中廣泛採用的位於主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數據時，會把與當前數據存儲位置相連的數據讀到緩存中，並把多次調用的數據保留在緩存中；當主機讀數據時，在很大幾率上能夠從緩存中找到所需要的數據。直接從緩存上讀出。而從緩存讀取數據時的速度只受到電信號傳播速度的影響（等於光速），因此大大高於從硬盤讀數據時盤片機械轉動的速度。當主機向存儲設備寫入數據時，先把數據寫入緩存中，待主機端寫入動作停止，再從緩存中將數據寫入硬盤，同樣高於直接寫入硬盤的速度

（2）多端口並行技術，消除了I/O瓶頸。

傳統的FC存儲設備中控制端口與邏輯盤之間是固定關係，訪問一塊硬盤只能通過控制它的控制器端口。在對稱式虛擬存儲設備中，SAN Appliance的存儲端口與LUN的關係是虛擬的，也就是説多台主機可以通過多個存儲端口（最多8個）併發訪問同一個LUN；在光纖通道100MB/帶寬的大前提下，並行工作的端口數量越多，數據帶寬就越高。

（3）邏輯存儲單元提供了高速的磁盤訪問速度。

在視頻應用環境中，應用程序讀寫數據時以固定大小的數據塊為單位（從512byte到1MB之間）。而存儲系統為了保證應用程序的帶寬需求，往往設計為傳輸512byte以上的數據塊大小時才能達到其最佳I/O性能。在傳統SAN結構中，當容量需求增大時，唯一的解決辦法是多塊磁盤（物理或邏輯的）綁定為帶區集，實現大容量LUN。在對稱式虛擬存儲系統中，為主機提供真正的超大容量、高性能LUN，而不是用帶區集方式實現的性能較差的邏輯卷。與帶區集相比，Power LUN具有很多優勢，如大塊的I/O block會真正被存儲系統所接受，有效提高數據傳輸速度；並且由於沒有帶區集的處理過程，主機CPU可以解除很大負擔，提高了主機的性能。

（4）成對的HSTD系統的容錯性能。

在對稱式虛擬存儲系統中，HSTD是數據I/O的必經之地，存儲池是數據存放地。由於存儲池中的數據具有容錯機制保障安全，因此用户自然會想到HSTD是否有容錯保護。象許多大型存儲系統一樣，在成熟的對稱式虛擬存儲系統中，HSTD是成對配製的，每對HSTD之間是通過SAN Appliance內嵌的網絡管理服務實現緩存數據一致和相互通信的。

（5）在SAN Appliance之上可方便的連接交換設備，實現超大規模Fabric結構的SAN。

因為系統保持了標準的SAN結構，為系統的擴展和互連提供了技術保障，所以在SAN Appliance之上可方便的連接交換設備，實現超大規模Fabric結構的SAN。

在圖2所示的非對稱式虛擬存儲系統結構圖中，網絡中的每一台主機和虛擬存儲管理設備均連接到磁盤陣列，其中主機的數據路徑通過FC交換設備到達磁盤陣列；虛擬存儲設備對網絡上連接的磁盤陣列進行虛擬化操作，將各存儲陣列中的LUN虛擬為邏輯帶區集（Strip）,並對網絡上的每一台主機指定對每一個Strip的訪問權限（可寫、可讀、禁止訪問）。當主機要訪問某個Strip時，首先要訪問虛擬存儲設備，讀取Strip信息和訪問權限，然後再通過交換設備訪問實際的Strip中的數據。在此過程中，主機只會識別到邏輯的Strip，而不會直接識別到物理硬盤。這種方案具有如下特點：

（1）將不同物理硬盤陣列中的容量進行邏輯組合，實現虛擬的帶區集，將多個陣列控制器端口綁定，在一定程度上提高了系統的可用帶寬。

（2）在交換機端口數量足夠的情況下，可在一個網絡內安裝兩台虛擬存儲設備，實現Strip信息和訪問權限的冗餘。

但是該方案存在如下一些不足：

（1）該方案本質上是帶區集——磁盤陣列結構，一旦帶區集中的某個磁盤陣列控制器損壞，或者這個陣列到交換機路徑上的銅纜、GBIC損壞，都會導致一個虛擬的LUN離線，而帶區集本身是沒有容錯能力的，一個LUN的損壞就意味着整個Strip裏面數據的丟失。

（2）由於該方案的帶寬提高是通過陣列端口綁定來實現的，而普通光纖通道陣列控制器的有效帶寬僅在40MB/S左右，因此要達到幾百兆的帶寬就意味着要調用十幾台陣列，這樣就會佔用幾十個交換機端口，在只有一兩台交換機的中小型網絡中，這是不可實現的。

（3）由於各種品牌、型號的磁盤陣列其性能不完全相同，如果出於虛擬化的目的將不同品牌、型號的陣列進行綁定，會帶來一個問題：即數據寫入或讀出時各併發數據流的速度不同，這就意味着原來的數據包順序在傳輸完畢後被打亂，系統需要佔用時間和資源去重新進行數據包排序整理，這會嚴重影響系統性能。

以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同，實際從虛擬化存儲的實現原理來講也有兩種方式；即數據塊虛擬與虛擬文件系統。

數據塊虛擬存儲方案着重解決數據傳輸過程中的衝突和延時問題。在多交換機組成的大型Fabric結構的SAN中，由於多台主機通過多個交換機端口訪問存儲設備，延時和數據塊衝突問題非常嚴重。數據塊虛擬存儲方案利用虛擬的多端口並行技術，為多台客户機提供了極高的帶寬，最大限度上減少了延時與衝突的發生，在實際應用中，數據塊虛擬存儲方案以對稱式拓撲結構為表現形式。

虛擬文件系統存儲方案着重解決大規模網絡中文件共享的安全機制問題。通過對不同的站點指定不同的訪問權限，保證網絡文件的安全。在實際應用中，虛擬文件系統存儲方案以非對稱式拓撲結構為表現形式。

實際上是一種邏輯存儲器，實質是對物理存儲設備進行邏輯化的處理，並將統一的邏輯視圖呈現給用户。因此，用户在使用時，操作的是虛擬設備，無需關心底層的物理環境。因而，可以充分利用基於異構平台的存儲空間，達到最優化的使用效率。 ^[1] 

虛擬存儲系統一般具有以下功能： ^[1] 

（1）具有存儲設備故障確定及自動觸發故障設備接替功能。 ^[1] 

（2）具有存儲協議的自由轉換功能，從而能實現對不同協議下的，異構的存儲和服務器環境的支持。 ^[1] 

（3）支持SAN存儲配置，能實現存儲體的集中式管理和存儲容量擴充。 ^[1] 

（4）能通過TCP/IP協議，在網絡上實現對存儲器的各種遠程同步操作。 ^[1] 

（5）可實現數據高速緩存、定時自動備份和恢復等。 ^[1] 

因此，其在使用時存儲效率較高，用户存儲硬件開銷和管理維護成本可大幅降低，系統安全性得到提升，特別適合具有海量級信息資源的企業級和網絡環境下使用。 ^[1] 

一提起虛擬化，大家第一時間就會想到節約，綠色。因為它的使用可以為我們減少設備上的資金投入，降低成本壓力。一段時間以來，不同版本的虛擬存儲（Storage Virtulization）概念相繼湧現，有從軟件角度詮釋的，也有從硬件角度進行例證的。每個廠商都有根據對虛擬技術的理解向用户提供的實用產品。在虛擬存儲方面真可謂百家爭鳴，所以很難對虛擬存儲技術的概念給出一個清晰而準確的描述。

儘管如此，總結一些虛擬存儲的共同特性可以看出，所謂虛擬存儲，就是把多個存儲介質模塊（如磁盤、磁盤陣列）通過一定的手段集中管理起來，所有的存儲模塊在一存儲池"（Storage Pool）中得到統一管理。在虛擬存儲環境下，無論後台物理存儲是什麼設備，服務器及工作站看到的都是其熟悉的存儲設備的邏輯鏡像。即使物理存儲發生了變化，這種邏輯鏡像也不會改變，系統管理員不必關心後台存儲，只需專注於管理存儲空間，所有的存儲管理操作，例如系統升級、建立和分配虛擬磁盤、改變RAID級別、擴充存儲空間等都比以前容易的多，存儲管理變得輕鬆簡單。

從用户的角度來看，可以用一句更簡單的話來概括虛擬存儲--使用存儲空間而不是使用物理存儲硬件（磁盤、磁帶），管理存儲空間而不是管理物理存儲硬件。

虛擬存儲技術具有以下幾個特點：

1、虛擬存儲可以大大提高存儲系統的整體訪問帶寬，這也是其對於視頻網絡系統來説最有價值的一個特點。我們知道，視頻網絡的存儲系統一般是由多個存儲模塊組成，而虛擬存儲系統可以很好地進行負載平衡，把每一次數據訪問所需要的帶寬合理地分配到各個存儲模塊上，這樣系統的整體訪問帶寬就增大了。例如，一個存儲系統中有4個存儲模塊，每一個存儲模塊的訪問帶寬為50MB/s，則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和，即200MB/s。

2、虛擬存儲技術提供了一個大容量存儲系統的集中管理手段，由網絡中的一個環節 (如服務器)進行統一管理，避免了由於存儲設備擴充而帶來的管理方面的麻煩。例如，使用一般的存儲系統，當在增加新的存儲設備時，整個系統(包括網絡中的諸多用户設備)都需要重新進行繁瑣的配置工作，這樣才可以使這個"新成員"加入到存儲系統中。而使用虛擬存儲技術，在增加新的存儲設備時，只需要網絡管理員對存儲系統進行較為簡單的系統配置更改，客户端無需任何操作、只是感到存儲系統的容量增大了。

3、虛擬存儲技術為存儲資源管理提供了更好的靈活性。它可以將不同類型的存儲設備集中管理使用，保障了用户以往購買存儲設備的投資。

目前實現虛擬存儲主要分為如下幾種：

服務器廠商會在服務器端實施虛擬存儲。同樣，軟件廠商也會在服務器平台上實施虛擬存儲。這些虛擬存儲的實施都是通過服務器端將鏡像映射到外圍存儲設備上，除了分配數據外，對外圍存儲設備沒有任何控制。服務器端一般是通過邏輯卷管理來實現虛擬存儲技術。邏輯卷管理為從物理存儲映射到邏輯上的卷提供了一個虛擬層。服務器只需要處理邏輯卷，而不用管理存儲設備的物理參數。

用這種構建虛擬存儲系統，服務器端是一性能瓶頸，因此在多媒體處理領域幾乎很少採用。

另一種實施虛擬的地方是存儲設備本身。這種虛擬存儲一般是存儲廠商實施的，但是很可能使用廠商獨家的存儲產品。為避免這種不兼容性，廠商也許會和服務器、軟件或網絡廠商進行合作。當虛擬存儲實施在設備端時，邏輯（虛擬）環境和物理設備同在一個控制範圍中，這樣做的益處在於：虛擬磁盤高度有效地使用磁盤容量，虛擬磁帶高度有效地使用磁帶介質。

在存儲子系統端的虛擬存儲設備主要通過大規模的RAID子系統和多個I/O通道連接到服務器上，智能控制器提供LUN訪問控制、緩存和其他如數據複製等的管理功能。這種方式的優點在於存儲設備管理員對設備有完全的控制權，而且通過與服務器系統分開，可以將存儲的管理與多種服務器操作系統隔離，並且可以很容易地調整硬件參數。

網絡廠商會在網絡設備端實施虛擬存儲，通過網絡將邏輯鏡像映射到外圍存儲設備，除了分配數據外，對外圍存儲設備沒有任何控制。在網絡端實施虛擬存儲具有其合理性，因為它的實施既不是在服務器端，也不是在存儲設備端，而是介於兩個環境之間，可能是最“開放”的虛擬實施環境，最有可能支持任何的服務器、操作系統、應用和存儲設備。從技術上講，在網絡端實施虛擬存儲的結構形式有以下兩種：即對稱式與非對稱式虛擬存儲。

從目前的虛擬存儲技術和產品的實際情況來看，基於主機和基於存儲的方法對於初期的採用者來説魅力最大，因為他們不需要任何附加硬件，但對於異構存儲系統和操作系統而言，系統的運行效果並不是很好。基於互聯設備的方法處於兩者之間，它迴避了一些安全性問題，存儲虛擬化的功能較強，能減輕單一主機的負載，同時可獲得很好的可擴充性。

不管採用何種虛擬存儲技術，其目的都使為了提供一個高性能、安全、穩定、可靠、可擴展的存儲網絡平台，滿足節目製作網絡系統的苛刻要求。根據綜合的性能價格比來説，一般情況下，在基於主機和基於存儲設備的虛擬存儲技術能夠保證系統的數據處理能力要求時，優先考慮，因為這兩種虛擬存儲技術構架方便、管理簡單、維護容易、產品相對成熟、性能價格比高。在單純的基於存儲設備的虛擬存儲技術無法保證存儲系統性能要求的情況下，我們可以考慮採用基於互連設備的虛擬存儲技術。

虛擬存儲具有如下特點：

（1）虛擬存儲提供了一個大容量存儲系統集中管理的手段，由網絡中的一個環節（如服務器）進行統一管理，避免了由於存儲設備擴充所帶來的管理方面的麻煩。例如，使用一般存儲系統，當增加新的存儲設備時，整個系統（包括網絡中的諸多用户設備）都需要重新進行繁瑣的配置工作，才可以使這個“新成員”加入到存儲系統之中。而使用虛擬存儲技術，增加新的存儲設備時，只需要網絡管理員對存儲系統進行較為簡單的系統配置更改，客户端無需任何操作，感覺上只是存儲系統的容量增大了。

（2）虛擬存儲對於視頻網絡系統最有價值的特點是：可以大大提高存儲系統整體訪問帶寬。存儲系統是由多個存儲模塊組成，而虛擬存儲系統可以很好地進行負載平衡，把每一次數據訪問所需的帶寬合理地分配到各個存儲模塊上，這樣系統的整體訪問帶寬就增大了。例如，一個存儲系統中有4個存儲模塊，每一個存儲模塊的訪問帶寬為50MBps，則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和，即200MBps。

（3）虛擬存儲技術為存儲資源管理提供了更好的靈活性，可以將不同類型的存儲設備集中管理使用，保障了用户以往購買的存儲設備的投資。

（4）虛擬存儲技術可以通過管理軟件，為網絡系統提供一些其它有用功能，如無需服務器的遠程鏡像、數據快照(Snapshot)等。

由於虛擬存儲具有上述特點，虛擬存儲技術正逐步成為共享存儲管理的主流技術，其應用具體如下：

數據鏡像就是通過雙向同步或單向同步模式在不同的存儲設備間建立數據複本。一個合理的解決方案應該能在不依靠設備生產商及操作系統支持的情況下，提供在同一存儲陣列及不同存儲陣列間製作鏡像的方法。

通過IP地址實現的遠距離數據遷移（通常為異步傳輸）對於不同規模的企業來説，都是一種極為重要的數據災難恢復工具。好的解決方案不應當依賴特殊的網絡設備支持，同時，也不應當依賴主機，以節省企業的管理費用。

過去的幾年，在磁帶備份技術上鮮有新發展。儘管如此，一個網絡存儲設備平台亦應能在磁帶和磁盤間搭建橋路，以高速、平穩、安全地完成備份工作。

出於測試、拓展及彙總或一些別的原因，企業經常需要製作數據複本。

利用磁帶來還原數據是數據恢復工作的主要手段，但常常難以成功。數據管理工作其中一個重要的發展新方向是將近期內的備分數據（可以是數星期前的歷史數據）轉移到磁盤介質，而非磁帶介質。用磁盤恢復數據就象閃電般迅速（所有文件能在60秒內恢復），並遠比用磁帶恢復數據安全可靠。同時，整卷（Volume）數據都能被恢復。

存儲管理發展的又一新方向是，將服務貼近應用。沒有一個信息技術領域的管理人員會單純出於對存儲設備的興趣而去購買它。存儲設備是用來服務於應用的，比如數據庫，通訊系統等等。通過將存儲設備和關鍵的企業應用行為相整合，能夠獲取更大的價值，同時，大大減少操作過程中遇到的難題。

現在我着重介紹虛擬存儲在數字視頻網絡中的應用。

數字視頻網絡對廣播電視行業來説已經不是一個陌生的概念了，由於它在廣播電視技術數字化進程中起到了重要的作用，國內各級電視台對其給予極大的關注，並且開始構造和應用這類系統，在數字視頻網的概念中完全打破了以往一台錄象機、一個編輯系統、一套播出系統的傳統結構，而代之以上載工作站、編輯製作工作站、播出工作站及節目存儲工作站的流程，便於操作和管理。節目上載、節目編輯、節目播出在不同功能的工作站上完成，可成倍提高工作效率。同時，由於採用非線性編輯系統，除了採集時的壓縮損失外。信號在製作、播出過程中不再有任何損失，節目的技術質量將大大提高。

在現有的視頻網絡系統中，雖然電腦的主頻、網絡的傳輸速率以及交換設備的性能，已經可以滿足絕大多數應用的要求，但其中存儲設備的訪問帶寬問題成為了系統的一個主要性能瓶頸。視頻編輯、製作具有數據量存儲大、碼流高、實時性強、安全性重要等特點。這就要求應用於視頻領域的存儲技術和產品必須具有足夠的帶寬並且穩定性要好。

在單機應用時，為了保證一台編輯站點有足夠的數據帶寬，SCSI技術、本地獨立磁盤冗餘陣例RAID（Redundant Array of Independent Disks）技術（包括軟件和硬件）被廣泛應用，它通過把若干個SCSI硬盤加上控制器組成一個大容量，快速響應，高可靠性的存儲子系統，從用户看可作為一個邏輯盤或者虛擬盤，從而大大提高了數據傳輸率和存儲容量，同時利用糾錯技術提高了存儲的可靠性，並可滿足帶寬要求。

隨着節目製作需求的發展，要求2—3台站點共享編輯數據。這時可利用SCSI網絡技術實現這一要求。幾台編輯站點均配置高性能的SCSI適配器，連接至共享的SCSI磁盤陣列，既可以實現幾個站點共享數據，又可以保證每一台單機的工作帶寬。

光纖通道技術的成熟應用對視頻網絡的發展具有里程碑的意義，從此主機與共享存儲設備之間的連接距離限制從幾米、十幾米，擴展到幾百米、幾千米，再配合光纖通道交換設備，網絡規模得到幾倍、十幾倍的擴充。這時候的FC（Fibre Channel光纖通道）磁盤陣列——RAID容錯技術、相對SCSI的高帶寬、大容量，成為視頻網絡中的核心存儲設備。

隨着電視台規模的發展，全台級大規模視頻網絡的應用被提出。在這種需求下，就必須將更先進的存儲技術與產品引入視頻領域。存儲區域網（SAN）的發展目前正處於全速上升期，各種概念層出不窮。其中具有劃時代意義的是虛擬存儲概念的提出。相對於傳統的交換機加RAID陣列，主機通過硬件層直接訪問陣列中的硬盤的SAN結構，虛擬存儲的定位是將數據存儲功能從實際的、物理的數據存取過程中抽象出來，使普通用户在訪問數據時不必關心具體的存儲設備的配置參數、物理位置及容量，從而簡化用户和系統管理人員的工作難度。

在設計一個視頻網絡系統的時候，對存儲系統的選用，主要考慮如下幾個因素：（1）總體帶寬性能；（2）可管理性；（3）安全性；（4）可擴展性；（5）系統成本。

當然，這些因素之間有時是相互制約的，特別是系統成本與性能和安全性的關係。如何在這些因素之間尋求合理的、實用的、經濟的配合，是一個需要解決的課題。虛擬存儲技術的出現，為我們在構建視頻網絡系統時提供了一個切實可行的高性能價格比的解決方案。

從拓撲結構來講，對稱式的方案具有更高的帶寬性能，更好的安全特性，因此比較適合大規模視頻網絡應用。非對稱式方案由於採用了虛擬文件原理，因此更適合普通局域網（如辦公網）的應用。