複製鏈接
請複製以下鏈接發送給好友

統一存儲

鎖定
統一存儲(有時也稱網絡統一存儲或者NUS)是一個能在單一設備上運行和管理文件和應用程序存儲系統。為此,統一存儲系統在一個單一存儲平台上整合基於文件和基於塊的訪問,支持基於光纖通道的SAN、基於IP的SAN(iSCSI)和NAS(網絡附加存儲)。
中文名
統一存儲
外文名
unified storage

統一存儲定義

統一存儲,實質上是一個可以支持基於文件的網絡附加存儲(NAS)以及基於數據塊的SAN的網絡化的存儲架構。由於其支持不同的存儲協議為主機系統提供數據存儲,因此也被稱為多協議存儲。 [1] 

統一存儲工作方式

既然是一個集中化的磁盤陣列,那麼就支持主機系統通過IP網絡進行文件級別的數據訪問,或通過光纖協議在SAN網絡進行塊級別的數據訪問。同樣,iSCSI亦是一種非常通用的IP協議,只是其提供塊級別的數據訪問。這種磁盤陣列配置多端口的存儲控制器和一個管理接口,允許存儲管理員按需創建存儲池或空間,並將其提供給不同訪問類型的主機系統。最通常的協議一般都包括了NAS和FC,或iSCSI和FC。當然,也可以同時支持上述三種協議的,不過一般的存儲管理員都會選FC或iSCSI中的一種,它們都提供塊級別的訪問方式,和文件級別的訪問方式(NAS方式)組成統一存儲。 [2] 

統一存儲優勢

規劃整體存儲容量的能力——通過部署一個統一存儲系統可以省去對文件存儲容量以及數據塊存儲容量分別進行規劃。
利用率可以得到提升,容量本身並沒有標準限制——統一存儲可以避免與分別對數據塊及文件存儲支持相關的容量利用率方面的問題,用户不必擔心買多了支持其中一種協議的存儲而少買了支持另外一種協議。
存儲資源池的靈活性——用户可以在無需知道應用是否需要數據塊或者文件數據訪問的情況下,而自由分配存儲來滿足應用環境的需要。
積極支持服務器虛擬化——在很多時候,用户在部署他們的服務器虛擬化環境的時候都會因為性能方面的要求而對基於數據塊的裸設備映射(RDM)提出要求。統一存儲為用户如何存儲他們的虛擬機提供了選擇,而無需像之前那樣分別購買存儲區域網絡(SAN)和網絡附件存儲(NAS)設備。 [3] 

統一存儲挑戰

一般來説,SAN和NAS管理在不同的組裏,通常SAN是由數據存儲管理員管理,而NAS則是由系統或者網絡管理員管理。容量劃分也通常分開執行,因為他們對共享資源感到恐懼並且害怕如果一切劃分容量可能會導致性能問題。此外,他們在對管理文件共享資源和磁盤容量之間的細微差距上也存在問題。並且需要知道的是,加固共享平台對降低需要被管理的文件共享沒有太多幫助,這本身也是一個挑戰、。
共享的數據存儲能夠被所有的應用程序訪問。
共享訪問模式中,每個數據位都將會被各種格式來同時訪問:作為CIFS或者NFS文件,一個RESTful格式的對象文件,Hadoop對象或者其他任何類型。
支持所有設備接入——平板電腦、智能手機、筆記本電腦、桌面或平板手機——支持今天的移動辦公。
還有一些其他的內容都是必須的,例如隨着數據量的增加而進行架構的橫向擴展;某些形式的數據分層,從而過期數據能夠遷移到性能較低,成本低廉的介質上;高可用性,當存儲組件失效時各種應用程序不會崩潰;還有就是糾刪碼,壓縮和重複數據刪除等提高效率的特性。 [4] 

統一存儲統一存儲系統

統一存儲系統:前端主機接口可支持FC 8Gb、iSCSI 1Gb和iSCSI 10Gb,後端具備SAS 6Gb硬盤擴展接口,可支持SAS、SATA硬盤及SSD固態硬盤具備極佳的擴展能力。實現FC SAN與IP SAN、各類存儲介質的完美融合,有效整合用户現有存儲網絡架構,實現高性能SAN網絡的統一部署和集中管理,以適應業務和應用變化的動態需求。主機接口及硬盤接口均採用模塊化設計,更換主機接口或硬盤擴展接口,無須更換固件,可大大簡化升級維護的難度和工作量。

統一存儲設備類型

根據支持協議的不同,統一存儲設備可分為四種類型:
FC+iSCSI+CIFS/NFS
即支持FC與iSCSI兩種塊讀寫協議,以及CIFSNFS兩種最普遍的文件傳輸協議。顯然的,這種類型的存儲設備能支持的範圍最廣,無論是SAN、NAS等形式的應用,還是光纖通道、以太網絡等不同類型的傳輸通道都能支持。企業可以單一系統同時滿足各類讀寫要求,無論是管理或是建設都相當方便。
這類系統可分為從NAS為基礎出發,進而延伸到SAN,如NetApp的產品即為由NAS延伸到SAN的典型;某些產品是以相反的路線延伸,即以FC SAN的磁盤陣列為基礎,通過在控制器增加支持不同傳輸端口的板卡,來支持iSCSI與NAS的讀寫。
FC+iSCSI
這類產品只能支持SAN的塊讀寫環境,但能支持光纖通道與以太網絡兩種傳輸方式,因此企業可讓前端執行在線數據庫或ERP等關鍵任務的服務器,通過光纖通道來讀寫SAN,以取得較佳的性能。至於像數據庫測試開發等不需特別講求性能的應用,就可改由iSCSI來讀寫SAN,因此這種組合能兼顧性能與成本。
FC+CIFS/NFS
這種組合就是FC SAN加上NAS網關的一種衍生髮展,是在FC存儲設備的控制器中,增加可支持CIFS/NFS文件讀寫的卡板
iSCSI+CIFS/NFS
由於同樣都是使用以太網絡作為傳輸介質,因此iSCSI加NAS是很理所當然的組合,如果不特別講求性能,任何能連接IP網絡的服務器都能輕易的當作NAS使用。有許多現成的iSCSI Target軟件可用,可輕易把服務器當成iSCSI的設備,因此iSCSI+CIFS/NFS這種組合已日漸普遍。 [5] 

統一存儲基本標準

統一存儲多協議支持

多協議支持可謂是統一存儲率先受到人們關注的要素,一直以來專家都認為對多協議的支持能夠給用户帶來非常的價值,在統一存儲環境之中,存儲資源變成一個共享資源池來存儲數據塊或者文件數據,根據應用需求來配置存儲資源,從而提升用户自身的存儲效率。
雖 然之前用户可以通過NAS網關的方式,將SAN磁盤陣列的空間分隔出來,供文件讀寫之用,從而實現多協議的支持,但這種方式並不經濟,用户需要承擔NAS 網關的額外建設與管理費用。因此,對於用户而言,最方面的仍然是在單一存儲設備上同時支持多種協議,這也成為當前主流統一存儲系統所標配功能。
圖一:NetApp統一存儲架構。 圖一:NetApp統一存儲架構。
當前統一存儲系統需要支持FC、iSCSI、FCoE等塊協議,還需要支持CIFS、NFS兩種最普通的文件協議。除此之外,已經有越來越多統一存儲在協議支持方面越來越廣,甚至已經有一些廠商在統一存儲中增加了對對象存儲數據的支持。
當 然,統一存儲對於多協議的支持最終還需要在管理軟件上得到體現,如果在管理軟件上不能實現統一,即是在硬件層面上能夠支持多種協議或多個接口也並不能算真 正意義上的統一。環顧業內各大廠商的存儲系統,有些廠商的統一存儲產品仍然在進行管理軟件的整合與統一(有些產品在一個統一界面下,仍然有兩個管理軟件, 通過Link的方式來切換轉移到相應的管理軟件),不過管理軟件的統一必然是未來的大勢所趨,也已經成為統一存儲必備標準之一。
統一存儲 統一存儲
圖二:HDS統一存儲產品HUS的統一管理平台Hitachi Command Suite,通過統一管理平台能夠管理不同類型的數據存儲。

統一存儲自動精簡配置

統一存儲 統一存儲
自動精簡配置是一種利用虛擬化技術來減少物理存儲部署的技術,目的是為了最大限度提升存儲空間利用率。其原理非常好理 解,用户為確保應用的存儲容量夠用,在部署應用時往往會多於當時實際需求的物理空間,然而在應用實際運行期間,所部署的存儲容量未必能夠得到充分利用,自 動精簡配置技術正是根據用户這種實際使用情況而誕生。
圖三:自動精簡配置模式與傳統存儲容量配置模式對比。
事實上,自動精簡配置技術過去一直屬於高端存儲系統的“專利”,然而隨着高端存儲功能越來越多的下移,自動精簡配置技術也逐漸出現在中端存儲系統之中,統一存儲作為之前中端存儲系統的替代品,自然也就集成了該項技術。
統一存儲 統一存儲
圖四:自動精簡配置技術已經成為統一存儲的標準配置技術。
之 所以説自動精簡配置技術成為統一存儲的標準配置技術,是因為服務器虛擬化已經逐漸普及促進了自動精簡配置技術在之前的中端存儲、現在的統一存儲上面的應 用。在服務器虛擬化環境下,每個虛擬機都有自己的啓動卷和數據卷,啓動卷的容量由操作系統和啓動軟件決定,利用自動精簡配置技術,則能夠大幅精簡虛擬機的 各種數據,從而為用户節省了大量存儲空間。除此之外,固態硬盤在存儲系統中的逐漸普及也在推動自動精簡配置的發展,固態硬盤並不存在磁盤碎片影響的問題, 使得自動精簡配置技術更加容易在固態硬盤上運行。
統一存儲 統一存儲
圖五:惠普3PAR的自動精簡配置技術是自動精簡配置技術的典型代表。
除 了基於塊級的自動精簡配置技術外,基於文件系統的自動精簡配置技術也同樣獲得了廣泛關注,自動2002年推出了基於文件系統的自動精簡配置技術,大部分 NAS廠商都提供了這一功能,包括EMC、NetApp、HDS、Symantec的產品都配備基於文件系統的自動精簡配置技術,用户部署這一技術之後, 能夠讓文件系統自動地擴展。
事實上,隨着統一存儲逐漸普及,自動精簡配置技術無疑成為統一存儲的標準配置功能,在服務器虛擬化應用越來越廣泛以及非結構化數據快速增加的今天,自動精簡配置技術會讓統一存儲更具競爭力,同時能夠更好地滿足用户應用需求。

統一存儲自動分層

自從固態硬盤逐漸被存儲廠商納入到存儲系統之後,固態硬盤的諸多優點就吸引着廣大用户的關注,速度快、抗震、能耗低等優點 是廣大用户趨之若鶩的原因,然而固態硬盤其昂貴的價格卻是橫跨在用户使用面前的屏障,在這種背景下,自動分層技術就藴育而生,通過自動分層技術讓熱點數據 存儲在固態硬盤之上,讓非熱點數據存儲在便宜的存儲介質之上,從而讓整個存儲系統能夠做到物為所用、有的放矢,實現存儲效率最大化。可以説,沒有自動分層 技術的存儲系統添加固態硬盤也毫無意義。
統一存儲 統一存儲
圖六:自動分層技術將隨機I/O轉移到高性能介質(閃存)上,減少機械磁盤的I/O負擔,從而大幅提升存儲系統I/O性能。
其 實,自動分層技術剛開始推出之時,也是屬於高端存儲系統的“專有”,類似自動精簡配置技術一樣,伴隨着越來越多高端存儲功能往下遷移,已經有很多中端存儲 系統中具備了自動分層功能,基本上現在市場上所有的主流統一存儲產品都具備了自動分層功能,包括EMC VNX系列、IBM V7000 Unified、HDS HUS系列、NetApp FAS系列等等。
目前自動分層技術在存儲系統中主要有兩種方式,一種是基於遷移的自 動分層技術,可自動化數據遷移的流程,能夠根據數據的“冷熱”程度自動調節與遷移到相應存儲介質,典型代表就是EMC VNX的FAST VP技術;另外一種是基於緩存的自動分層技術,將固態硬盤作為緩存使用,將熱點數據放到高性能介質中,在磁盤上保存副本,典型代表就是NetApp的 Flash Cache技術。
統一存儲 統一存儲
圖七:EMC VNX FILE中使用FAST VP自動分層技術。
統一存儲 統一存儲
圖八:NetApp的PAM技術(現在已經改名為Flash Cache)。
隨着各大廠商不斷的完善技術,很多廠商往往都能夠同時提供基於緩存和基於遷移的自動分層技術給用户,讓用户具有更多的選擇,可以所自動分層技術已經成為統一存儲的標配功能。

統一存儲刪除技術

壓縮或重複數據刪除技術因為Data Domain的興起,使得該項技術或者理念在備份領域得到了廣泛認可,用户們在備份之時充分利用了重複數據刪除理念來降低數據存儲空間,提升存儲利用率和 災備效率。事實上,早在幾年前重複數據刪除最為火爆時,業內就在探討重複數據刪除或者壓縮技術進入主存儲的可能性,當時已經有一些廠商在嘗試這種可能性。 而隨着時間的推移,壓縮或重複數據刪除技術已經逐漸成為主存儲系統中一項功能,特別在虛擬機應用大量興起的今天,大量虛擬機其實存在着很多重複數據,對這 些數據進行壓縮將有益於提升存儲系統的空間利用率以及存儲效率。
提到存儲系統的重複數據刪除或壓縮技術,就得提NetApp很早推出的 A-SIS Deduplication技術,NetApp將該項技術應用到期FAS系列產品之中,由於集成在其統一的管理系統DataOntap之中,使得所有 FAS系列產品都能夠享受到這項技術的好處。
圖九:NetApp FAS系列重複數據刪除工作原理。
統一存儲 統一存儲
圖十:NetApp A-SIS重複數據刪除技術的處理流程。
統一存儲 統一存儲
除了NetApp之外,其他廠商也一直在主存儲重複數據刪除或壓縮技術上下功夫。EMC在之前NAS平台就具有重複數據刪除或壓縮技術,分別基於 Avamar和RecoverPoint,為了彌補其統一存儲VNX在塊級重複數據刪除技術的缺失,EMC公司在2011年下半年將基於塊級的重複數據刪 除技術添加到RecoverPoint代碼庫之中。IBM公司則已經將在線實時壓縮技術Storwize STN技術整合到其統一存儲平台V7000 Unified,使得用户在數據最初被創建時即進行優化,數據在被寫入磁盤時將其進行壓縮。而戴爾也計劃將其壓縮技術Ocarina整合到其統一存儲平台 之中。
可以預見,壓縮或者重複數據刪除技術已經收到大部分廠商的重視,逐漸成為統一存儲標準配置之一,好的壓縮技術或者重複數據刪除技術能夠讓統一存儲平台更加高效。 [6] 
參考資料