數據虛擬化

數據虛擬化(Data virtualization)– 數據整合的過程，以此獲得更多的數據信息，這個過程通常會引入其他技術，例如數據庫，應用程序，文件系統，網頁技術，大數據技術等等。

數據虛擬化概念圖如圖1所示 ^[1]  。

數據虛擬化（data virtualization）是用來描述所有數據管理方法的涵蓋性術語，這些方法允許應用程序檢索並管理數據，且不需要數據相關的技術細節，例如它格式化的方式或物理位置所在。

如果你在Facebook之類的社交網站存儲照片，你也許會對數據虛擬化（data virtualization）的概念很熟悉。當你從桌面電腦上傳照片到Facebook時，你必須告訴上傳工具這些照片的位置信息—照片的文件路徑。但是一旦它們已經上傳到Facebook，你不需要知道新的文件路徑就能檢索該照片。事實上，你絕對不會知道Facebook將你的照片存放在哪裏，因為Facebook軟件有一個抽象層來隱藏技術性信息。這個抽象層對於某些廠商來説，就是他們口中的數據虛擬化所指。

數據虛擬化（data virtualization）這個詞可能有點令人困惑，因為有些廠商互換地使用數據虛擬化和數據聯合（data federation）。但是兩者之間確實有些許不同。數據聯合技術的目的是從不同來源收集異構（heterogeneous）數據並以單點訪問的方式來訪問它。然而數據虛擬化一詞僅僅代表有關數據的技術性信息已經隱藏了。嚴格説來，這並不意味着數據是異構的或者可以通過單點訪問查看。

從用户應用的角度出發，我們認為數據虛擬化系統架構應該包含3層:應用層、數據虛擬化層和源數據層。其中，數據虛擬化層包括數據虛擬化平面和管理平面，二者相互結合執行全方位的查詢、處理、集成和管理功能。數據虛擬化系統架構如圖2所示 ^[1]  。

應用層主要是面向前端各種各樣的數據查詢訪問應用，將用户的查詢請求傳遞到數據虛擬化層。系統為數據消費者的查詢請求提供多種訪問接口，用於訪問數據虛擬化系統，如某些數據消費者可以用JDBC/SQL接口訪問，另一些數據消費者可以採用MDX(multi-dimensionalexpressions)接口或基於SOAP(simple object access protocol)接口訪問相同的數據服務，對數據消費者而言可以根據自己確定的訪問方式發起查詢請求。

數據虛擬化層是整個數據虛擬化系統的核心，包括2個平面:數據虛擬化平面和管理平面。其中，數據虛擬化平面包含4個層次的內容，完成數據的抽象、元數據建模、數據源映射、查詢驅動與響應等功能;管理平面進行系統配置、管理、監測、安全、數據檢查與維護等工作。下面對數據虛擬化平面及管理平面分別進行介紹。

總結來説，當用户發起一個查詢請求，查詢引擎確定查詢策略並進行查詢結果計算、優化及結果響應。若數據服務層沒有預先定義該查詢對應的虛擬表，則元數據組織層需根據系統存儲的元數據信息對查詢所需的相關元數據進行組織，生成對應的臨時虛擬表。數據映射層實施相應虛擬表與封裝表的映射，進而訪問底層數據源。

管理平面的目標是通過配置、監測、管理控制等手段支撐整個虛擬化系統的安全、可靠、高效運行。通過對數據虛擬化系統的配置，完成生產、備份、故障切換等任務。數據虛擬化平台中的整合管理工具支持軟件供應，對源數據訪問的授權，與LDAP(light weight directory access protocol)的整合以及其他安全工具等。系統管理工具管理服務器會話、數據服務、元數據等。

針對數據虛擬化平面的4個層次，管理平面也要完成對應的管理功能。對於數據映射層而言，要實現每個應用所需數據的映射，管理層必須實現對封裝表、源數據、源數據間關係的管理;在元數據組織層，管理環境要實施對元數據的清洗、一致性檢測等任務，保證元數據緩存的高效性;在數據服務層，管理環境要完成對虛擬表或數據服務組合、更新過程的維護等，部署管理器完成對數據服務的擴展部署，確保其持續可用;針對查詢響應層，控制器、監測器、管理器等共同作用保證整個查詢過程的正確實施。

源數據層針對各個數據所有者提供的多源異構數據源進行統一的接口管理，實現數據虛擬化系統中各種不同數據源的訪問細節對用户進行屏蔽。通過ODBC/JDBC，JSON，API等接口，實現源數據的獲取和傳輸，最終完成用户所需數據資源的交付。

特別注意:源數據層只是對各種物理數據源的訪問接口管理，並不需要了解具體的物理源數據的組織、存儲及管理方式;物理數據源由所有者管理，並根據自身策略來開放全部或部分源數據的視圖給數據虛擬化系統。

一個完整的數據虛擬化系統應具備創建視圖/虛擬表、提供數據服務、優化聯合查詢、數據緩存、以及細粒度的安全性等能力，使用户在不同數據源中發現數據、檢索與訪問數據。雖然數據虛擬化會在很大程度上能夠提高數據集成的靈活性和敏捷性，如用户通過單一接入點訪問不同數據源的數據、數據服務面向所有的數據消費者、避免數據物理轉移、提高數據使用率等，但是仍然存在一些問題與挑戰需要研究解決。

異構數據源的集成

不同數據源的數據可能採用不同結構的數據，包括結構化、半結構化與混合結構數據。如有的數據集採用關係數據模式，有的採用HTML/XML文件，有的採用日誌格式文件等。這些異構的數據源是數據統一集成中必然存在的巨大挑戰。一些研究者從不同角度出發進行研究，例如，改進和擴展查詢語言，將查詢請求劃分為多個子查詢，基於語義相似性對元數據融合等。數據虛擬化面向的是多種不同應用，若對每類應用的查詢，分別優化其查詢語言則會影響整個數據虛擬化平台的效率，因此數據虛擬化平台提供多種訪問接口對來自不同數據源的數據進行統一存取或訪問。例如，對於關係數據庫SQLServer，Oracle，Access，Excel等利用ODBC接口通過SQL語言訪問;對於web應用程序則可以用REST或JSON接口等，以便屏蔽數據源數據模型的異構性，提供對數據的統一訪問。解決數據源的異構性是保證數據服務的基礎，但是由於數據源的多樣性及複雜性，可能需要開發和改善更多種訪問接口，所以對於數據源的異構性問題不容小覷。

異質數據的集成

對於數據異質性問題，Sujansky從結構差異、命名差異、語義差異和內容差異4個方面分析了多源數據的異質性，如數據格式中存在多種日期與時間戳的格式，相同的數據在不同的數據源中有不同的定義等，因此數據異質性處理不當會導致集成數據的質量急劇下降。一些解決方案通過將數據虛擬化、抽象化，用一種統一的描述語言(如XML)或代碼生成技術對所需數據進行處理或創建虛擬表、自動生成數據服務，對用户而言屏蔽掉了底層數據的存儲格式、語義等方面的差異，一定程度上解決了這一問題，但是仍沒有通用的數據模型。由於XML語言易於操作、理解、跨平台可移植性等特點，很多數據虛擬化平台採用XML語言對數據進行統一描述，從數據描述方式的通用性出發，提出一種基於XML語言的DIMs(datainformationmodel)數據信息模型，並滿足數據模型的可移植性。解決數據異質性是進行元數據組織，創建可重用視圖/虛擬表的前提。值得注意的是，由於底層數據模型的差異，在轉化為統一數據格式時，如何保證數據的正確、完整、一致性，從而確保數據映射的準確性，這是急需解決的一個關鍵問題。

數據映射

數據映射對查詢到準確的源數據十分重要。基於一個數據源可以定義多個封裝表，基於一個封裝表也可以定義多個虛擬表。由於底層數據源的複雜多樣性，分散的數據源間不可避免地會出現數據重複，建立的封裝表間也會出現數據重疊現象。對查詢而言，同一虛擬表可能會產生多個映射，進而引發底層數據源中相同數據的重複查詢，導致查詢的整體效率下降。這個問題涉及到封裝表與映射策略，在定義封裝表及映射過程中，要考慮到源端數據中的重複數據現象，對於基於不同數據源創建的有重疊數據的封裝表是進行捨棄還是有效地合併?此外對於自頂而下定義的虛擬表，如何根據查詢需求來正確定義映射?在保證數據消費者查詢到所需數據的同時又避免重複數據查詢，這是實現數據高效及準確映射時面臨的挑戰。

元數據組織模型

類似於數據庫管理系統，元數據也是虛擬化系統運行的核心。在元數據組織模型方面，數據組織模型中，有些只關注某種特定應用或服務本身，沒有考慮數據源間的數據關係，導致用户在查詢時不得不對數據描述及組織方式進行分析，再通過編程查找底層數據源，這對於希望簡單快速地獲取所需數據資源的用户而言過於複雜。在數據即服務思想基礎上，針對傳統HTML數據模型在用户查詢方面的不足，提出一種概念信息模型DEMODS(description model for DaaS)，該模型隱藏了服務自動查詢方式，將各數據源的數據交予數據組合和分析工具，對用户而言不用關心中間查詢的操作。針對鐵路分佈式系統的信息轉換、數據共享中存在的數據模型的異質性，提出一種基於XML的三維元數據組織模型，描述了不同系統中數據間關係，並實現不同數據模型與該元數據組織模型間的映射。針對一個數據虛擬化系統，合適的元數據組織模型是關鍵。根據用户查詢需求及源數據間關係，對元數據進行分析、重新歸類，建立結構性與關聯性良好的、通用的元數據組織模型，特別是在數據服務層沒有預先定義虛擬表或數據服務的情況下，元數據組織模型對於及時快捷的數據交付十分重要。虛擬化系統中的元數據組織模型還沒有統一的標準，由於應用需求的靈活多樣性，研究合適的元數據組織模型非常關鍵。

數據服務

大數據技術的創新及DaaS模式的發展不僅促進了數據服務的潮流還推動了組合數據服務的研究，即多個基本數據服務通過關聯可以組合成滿足業務需求的複合數據服務。針對DaaS組合服務中存在的數據結構的不兼容、數據隱私問題進行了研究，並提出了相應的解決方法。數據虛擬化系統同樣支持數據服務間的組合，在組合過程中，由於不同數據服務中數據屬性、數據隱私程度、數據結構等的不同，也存在數據結構的不兼容、數據質量下降、數據訪問權限差異等問題，數據虛擬化方案對這方面的研究較少，大都是用户在利用相應的分析組合工具進行處理，這增加了用户的負擔。由於數據虛擬化系統創建的主要對象是數據服務，未來的研究中可以將數據虛擬化系統與DaaS模式融合，將數據虛擬化系統創建的數據服務作為基本服務，通過DaaS將基本數據服務模式進行合併、刪除、排序、數據結構調整等，組合成新的數據服務，在減少用户操作的同時保證組合數據服務的質量。另外，對於非關係數據庫，非結構化的數據內容而言，如何創建數據服務，能否以虛擬表的形式呈現各種底層數據源的查詢，這也是創建數據服務中的一個重要問題。為了保證數據服務的持續可用，數據虛擬化系統需要對虛擬表進行更新，涉及到虛擬表如何根據底層數據源的變化進行自動即時更新。針對數據服務生成的虛擬表，如何保證更新的一致性及效率問題都是需要研究的重要問題。

查詢優化

查詢優化的目標是提高用户獲取所需數據資源的效率，也是數據虛擬化系統中的關鍵問題。一些研究利用中間件思想，將查詢優化建立在數據模型基礎上。通過對數據的分析挖掘提取出能夠表示數據屬性、數據間關係的最少元數據，通過訪問元數據縮小數據的查詢範圍從而減少查詢響應時間，優化查詢，這也從另一個角度説明了元數據的質量及組織模型的重要性。也有一些研究通過優化查詢系統的性能，提高查詢效率，如文獻通過在存儲系統中加入一組豐富的硬件加速引擎來提高對存儲數據的並行處理能力。一些企業如Cisco，Composite利用基於規則或成本的優化器對每個查詢請求制定最佳查詢方案，並利用掃描多路技術、約束傳播技術、並行處理技術等優化網絡資源和數據庫，從而保證目標數據及時快捷地交付。數據虛擬化系統常用的一些查詢優化技術有Querysubstitution，SQLpushdown，Parallelprocessing，Distributedjoins，Shipjoins，SQLoverride等。這些技術針對不同的應用場景，在某些方面也存在一定的限制，如Querysubstitution主要應用於嵌套虛擬表的查詢;SQLpushdown不能用於底層數據源為序列文件或XMLWeb服務;Shipjoins一般用於合併2個不同的數據源。由於應用的多樣性，沒有一種查詢策略能夠適用於所有的應用場景。此外在提高查詢效率方面，除了應用這些優化技術，對於一些特定的查詢應用，有時需要將查詢請求轉化為另一種查詢語言。從另外一個角度來看，應用緩存技術對於提高系統查詢性能有極大的裨益。數據虛擬化系統通過提供靈活可擴展的緩存機制，針對底層數據源進行相關數據的緩存，對於查詢而言，可以從緩存中查找數據，加速查詢並減小底層數據源的查詢負載。此外，為了保證緩存數據的一致性和新鮮度，還必須根據底層數據的變化即時更新緩存，這會涉及到數據一致性、更新效率問題。

系統擴展性

數據虛擬化系統作為一種平台，新的數據源、應用請求、數據結構等會持續加入，系統必須具備良好的擴展性。新的數據所有者會開放數據源並註冊到系統平台，原有的開放數據源也會全部或部分註銷，這樣會引起系統內的元數據組織、虛擬表定義、數據映射、數據緩存等等面臨重構問題，系統必須具備在線添加、修改、更新能力，如何提高系統的擴展性與伸縮性是一個重要問題。由於用户的應用查詢需求是無法預測的，要保證數據查詢的性能，尤其是在處理一些大容量數據時，必須考慮到系統規模擴展後帶來的性能挑戰。在設計與開發數據虛擬化系統的早期階段，就需注意考慮數據查詢處理過程的性能與相關解決方案的可擴展性，以提高數據虛擬化系統的擴展性及查詢性能。另外，在數據源不斷地更新與數據消費者訪問規模增長的情況下，如何確保數據源、封裝表與虛擬表的同步性、數據一致性，並保證所有數據消費者的QoE體驗，這也是數據虛擬化系統需要考慮的重要課題。

數據安全

數據安全包括數據的認證、授權和加密，認證和授權主要是針對用户而言的，而加密則是從數據本身考慮的，數據只有在安全的基礎上實現有效的共享才會產生更大的價值。數據虛擬化系統針對不同應用的相同數據服務實行不同的認證和授權機制，這一特性對數據安全又有新的要求，如查詢與數據源間的安全通信、跨平台/跨系統訪問的數據安全等。當用户進行數據請求訪問時，數據虛擬化系統會對用户憑證(如用户ID、密碼等)進行檢測。不同的用户即便是對相同的數據元素的訪問權限也是不同的，如對於一個虛擬表，有些用户可能只具有該表部分內容的訪問權限。需特別注意的是數據虛擬化系統只執行數據消費者權限的檢測，確定用户對數據的訪問權利，而源數據訪問的授權工作則是由底層數據源的所有者決定的，二者的訪問權限必須區分開。有些底層數據源有自己的安全訪問機制，對數據消費者而言，要實施對源數據的訪問需要具備虛擬表與底層數據源的兩層訪問權限;也有一些底層數據存儲沒有定義安全機制，對上層數據訪問是完全公開的，用户只執行虛擬表的訪問權限。因此，用户憑證的安全保存機制、合適的授權機制、安全認證性能等都是需要考慮的問題。針對數據服務訪問權限的定義也在一定程度上限制了用户查詢數據的範圍，因此在定義數據服務時也需要考慮相應的安全機制。但是從另外一方面來説，過於複雜的安全機制也會影響虛擬化系統在查詢、處理數據時的性能。因此在設計數據服務時如何進行安全與性能的折衷將是一個挑戰。

系統管理

數據虛擬化系統實質上也是一個數據共享的平台，它以一種更簡單敏捷的架構提供數據服務，也必需提供對整個數據虛擬化環境的良好管理，解決由誰負責共享的基礎架構，誰負責共享的數據服務等問題。數據虛擬化管理平面需要多種系統管理工具，對系統運行過程實施管理、監控，如監測查詢的數量、查詢性能、系統的可用性、緩存的使用、緩存更新的速率等，這些都是需要考慮的問題。

數據虛擬化技術會建立中間件，或者服務，IT架構層中數據可以從不同來源被聚集、查看並分析。該技術希望從傳統集成方法(比如ETL還有數據庫整合)中節省時間和費用，因為實際數據從未被從源系統中物理移動。

但是Myers認為Informatica的數據服務在某些領域也有待提升。首先，他希望看到隨着時間推移軟件變得更加用户友好。那樣HealthNow公司業務分析師們就更容易映射數據源並依據從虛擬數據集市中揀選的信息創建簡單報表。

Myers還希望Informatica與來自競爭對手的企業服務總線(ESB)技術能無縫連接操作。ESB技術是面向服務架構的支柱，它對服務提供一致的視圖並隱藏了底層應用程序的複雜性。

Myers説：“你要能與消息隊列交互。我知道Informatica已經在做一些隊列功能，但是IBMMQ在ESB領域份額佔據較大，另外還有其它競爭對手也在做。我不認為這是Informatica應該努力競爭的地方。我認為這會沖淡他們其它方面的工作成果。”

1.將數據虛擬化方面的責任集中起來。這麼做的一個主要優點就是，能夠迅速推動這項工作，並且着手處理更宏大的概念，比如定義通用規範和實施智能存儲組件。

2.約定和實施一種通用數據模型。這將確保一致性、高質量的數據，讓業務用户對於數據更有信心，並且提高IT工作人員的靈活性和生產力。

3.確定一種治理方法。這需要考慮到如何管理數據虛擬化環境。關鍵問題是誰負責共享的基礎架構，誰負責共享的服務。

4.對業務用户進行教育，讓他們認識到數據虛擬化的優點。抽出時間與業務用户進行交流，確保他們明白數據。日常多開展工作，讓數據虛擬化能夠為企業的其餘部門所接受。

5.注意性能調整和可擴展性。在開發過程的早期階段，就要調整性能、測試解決方案的可擴展性。要考慮引入大規模並行處理功能，以便處理大容量數據方面的查詢性能。要兼顧這個事實：用户在專門查詢和報告方面是無法預測的。

6.分階段實施數據虛擬化。先對數據源進行抽象處理，然後將商業智能應用程序放到上面，最後逐步實施數據虛擬化的更高級的聯合功能。

HealthNow公司是藍盾保險供應商，支撐紐約州西部大約80萬會員。該公司擁有約2500名員工，其中包括一個30人組成的超級數據管理團隊。

HealthNow公司的IT部門主要運行IBM的DB2，微軟公司SQL Server和Sybase數據庫管理軟件。該公司還運行IBM的Cognos商業智能(BI)和TriZetto的Facets健康計劃管理軟件。

Myers説：“三年前的這個時候我加入了HealthNow公司，那時公司還在使用傳統的ETL，沒有做數據服務的概念。説實話，那時候沒有SOA架構，也沒有參考架構。”

所有這些在大約一年半之前開始改變了，那時Myers和他的團隊開始評估數據聯邦和數據虛擬化技術，顯著成果之一就是他們比過去能更快地提取可用信息給業務分析師。

當時，Informatica還在零售Composite軟件，這是原始設備製造商協議的一部分，剛剛自助開發了Informatica數據服務產品。Myers説，Informatica數據服務的路線圖看起來前途無量，但是決定因素主要與Informatica公司使用數據質量規則的能力有關係。

Myers説：“Informatica告訴我們，我們不只可以聯合數據，我們還可以附送質量規則。我們可以配置數據和那些規則，使他們正確映射。開發人員可以編寫虛擬的數據模型映射。他們可以在每一步中看到和配置數據。”

使HealthNow公司的Informatica勝過IBM和Composite的另一個重要因素集中在公司提供質量維護和支持的能力上。HealthNow公司與Informatica談判協議規定，所有的服務調用都要直接讓大家知道。

這家保險公司大約一年前使用了Informatica數據服務，Myers説該軟件的主要益處可以用一個關鍵詞來描述：速度。

該公司現在有能力創建“虛擬化數據集市”，從不同的數據源提取數據，它可以很容易被業務用户訪問到。Myers説，創建數據集市的過程可能只需要花兩天時間。而在過去，為業務分析師整理數據可能需要幾個月時間才能完成。

Forrester研究機構最近的一份研究報告指出，數據虛擬化軟件包常常遭到終端用户組織的質疑，他們關注如何確保敏感信息的安全。

但是安全還不是HealthNow公司面臨的主要問題，這要感謝該公司高度強健的IT架構。該公司在Informatica數據服務的前面運行着IBM的WebSphere DataPower應用，它給系統提供了一層安全保護。

Myers説：“能真正接觸到數據服務層的人是其他應用開發人員。而且如果我們讓終端用户通過Cognos接觸它，我們就在其上擁有了Cognos安全層。”

對Myers來説，更大的挑戰是説服HealthNow公司的數據集成團隊，讓他們相信Informatica數據服務是一套穩定的環境。Myers通過執行一些小的數據虛擬化項目併產生實效克服了這一障礙。

他説：“這表明環境是穩定的，也表明數據服務是可重用組件，事實證明它可以給業務方面提交正確的數據。這些組件可以被在延續業務線的許多新項目中重用。”

Myers説，儘管HealthNow公司在數據虛擬化方面的經驗不足帶來了一些小問題，Informatica數據服務實施也基本沒什麼痛苦。該公司在兩個月內已經安裝配置了該系統，並通過了概念測試驗證。

Myers説：“你當然可以做的更快。但是我認為，與任何具備良好架構的團隊一樣，我們花了很多時間先要評估某種技術的最佳用法和我們向要發展的方向。”