雲計算技術

透過這項技術，網絡服務提供者可以在數秒之內，達成處理數以千萬計甚至億計的信息，達到和“超級計算機”同樣強大效能的網絡服務。 　　最簡單的雲計算技術在網絡服務中已經隨處可見，例如搜尋引擎、網絡信箱等，使用者只要輸入簡單指令即能得到大量信息。

未來如手機、GPS等行動裝置都可以透過雲計算技術，發展出更多的應用服務。

進一步的雲計算不僅只做資料搜尋、分析的功能，未來如分析DNA結構、基因圖譜定序、解析癌症細胞等，都可以透過這項技術輕易達成[1]。

如果僅僅如此那麼雲計算和其他計算例如網格計算 ，分佈式計算還有何種不同呢？答案當然是雲計算的應用還不僅僅如此。網格計算是針對特定的需求，採用分佈式計算的模式來處理用户請求，在短時間內做出響應。且結果不依賴與單個參與計算的計算機。因此它的應用就很厲害啦：包括如上所説分析DNA結構等。而云計算是你需要什麼資源，在某個國家級的地點的雲下經過協商，付費之後。相應的就能獲得什麼資源，來解決你的“任何”請求。或者公司的，或者國家的。此時當請求數增多的時候，添加額外的付費即可獲得額外的資源來處理你的請求。即費用是和使用的資源成正比的。也就是説任何需要，雲計算都可以為你解決。小到需要使用特定軟件，大到模擬衞星的週期軌道，以及數據的存儲，公司的管理。對人們的生活方式的影響等等應用可以説包含了你能想到的和你想不到的。而一切的資源，你想要得到的方式很簡單，只需要提供合理的費用即可。這就是雲計算的威力！

雲計算技術的發展面臨一系列的挑戰，例如：使用雲計算來完成任務能夠獲得哪些優勢;可以實施哪些策略、做法或立法來支持或限制雲計算的採用;如何提供有效的計算和提高存儲資源的利用率;對雲計算和傳輸中的數據以及靜止狀態的數據，將有哪些獨特的限制;安全需求有哪些;提供可信環境都需要些什麼。此外，雲計算雖然給企業和個人用户提供了創造更好的應用和服務的機會，但同時也給了黑客機會。雲計算宣告了低成本提供超級計算服務的可能，使黑客投入極少的成本，就能獲得極大的網絡計算能力，一旦這些“雲”被用來破譯各類密碼、進行各種攻擊，將會對用户的數據安全帶來極大的危險。所以，在這些安全問題和危險因素被有效控制之前，雲計算很難得到徹底的應用和接受。

雲計算將對互聯網應用、產品應用模式和lT產品開發方向產生影響。雲計算技術是未來技術的發展趨勢，也是包括Google 在內的互聯網企業前進的動力和方向，未來主要朝以下3個方向發展。

· 手機上的雲計算。雲計算技術提出後，對客户終端的要求大大降低，瘦客户機將成為今後計算機的發展趨勢。瘦客户機通過雲計算系統可以實現目前超級計算機的功能，而手機就是一種典型的瘦客户機，雲計算技術和手機的結合將實現隨時、隨地、隨身的高性能計算。

· 雲計算時代資源的融合。雲計算最重要的創新是將軟件、硬件和服務共同納入資源池，三者緊密地結合起來融合為一個不可分割的整體，並通過網絡向用户提供恰當的服務。網絡帶寬的提高為這種資源融合的應用方式提供了可能。

· 雲計算的商業發展。最終人們可能會像繳水電費那樣去為自己得到的計算機服務繳費。這種使用計算機的方式對於諸如軟件開發企業、服務外包企業、科研單位等對大數據量計算存在需求的用户來説無疑具有相當大的誘惑力。

“雲計算”(Cloud Computing)是分佈式處理(Distributed Computing)、並行處理(Parallel Computing)和網格計算(Grid Computing)的發展，或者説是這些計算機科學概念的商業實現。許多跨國信息技術行業的公司如IBM、Yahoo和Google等正在使用雲計算的概念兜售自己的產品和服務。

中國網格計算、雲計算專家劉鵬給出如下定義 ：“雲計算將計算任務分佈在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算力、存儲空間和各種軟件服務”。

雲計算這個名詞可能是借用了量子物理中的“電子雲”(Electron Cloud)，強調説明計算的瀰漫性、無所不在的分佈性和社會性特徵。量子物理上有“電子雲(electron cloud)”，在原子核周圍運動的電子不是一個經驗世界的軌道例如像天體一樣的運行軌道，而是瀰漫空間的、雲狀的存在，描述電子的運動不是牛頓經典力學而是一個概率分佈的密度函數，用薛定諤波動方程來描述，特定的時間內粒子位於某個位置的概率有多大，這跟經典力學的提法完全不同。

電子雲有以下特性，概然性、瀰漫性、同時性等等，雲計算可能的確是來自電子雲的概念，前些年就有所謂“無所不在的計算”，IBM有一個無所不在的計算叫“Ubiquitous “，MS(Bill)不久也跟着提出一個無所不在的計算“Pervade“，現在人們對無所不在的計算又有了新的認識，現在説是”Omnipresent “。但是，雲計算的確不是純粹的商業炒作，的確會改變信息產業的格局，現在許多人已經用上了Google Doc和Google Apps，用上了許多遠程軟件應用如Office字處理而不是用自己本地機器上安裝這些應用軟件，以後誰還會花錢買Office軟件呢?還有許多企業應用如電子商務應用，例如要寫一個交易程序， Google的企業方案就包含了現成的模板，一個銷售人員根本沒學習過Netbeanr也能做出來。這種計算和產業動向是符合開源精神的，符合SaaS(Software as a Service)趨勢。

現在有這樣的説法，當今世界只有五台計算機，一台是Google的，一台是IBM的，一台是Yahoo的，一台是Amazon的，一台是Microsoft的，因為這五個公司率先在分佈式處理的商業應用上捷足先登引領潮流。Sun公司很早就提出説“網絡就是計算機”是有先見之明的。

“Computing in the cloud” is one name for services that run in a Web browser and store information in a provider’s data center — ranging from adaptations of familiar tools such as email and personal finance to new offerings such as virtual worlds and social networks.

“雲計算”是一個很時尚的概念，它既不是一種技術，也不是一種理論。準確説，雲計算僅描述了一類棘手的問題，因為現在這個階段，“計算與數據”蹺蹺板的平衡已發生變化，即已經到“移動計算要比移動數據要便宜的多（Moving computation is cheaper than moving data）”。

“數據”變得越來越臃腫，用經濟的眼光看，“數據”應該“固定”下來。想像一下，複製1PiB（1PiB = 1024TiB）數據的成本以及存儲這些數據的成本，數據變來變去而導致的“一致性”問題。諸如搜索、推薦和社會關係網絡等這些“新興”的服務是很耗費“數據”的，例如，看似一個簡單搜索請求，卻依賴於一個規模極為龐大的索引數據，處理後輸出卻很小。輸入輸出的數據規模遠遠小於計算的數據處理規模，幾百個KiB相對幾個PiB，保守點“1 : 1000,000”。

比例問題還好理解，然而問題關鍵卻是雲內的數據與數據之間的關係，即“數據的劃分問題”。儘管“分而治之”是一個古老的原則，而且分佈計算也已經發展了四十多年，然而對這一點，我們的認識依然淺的很。

“雲計算”代表了一個時代需求，反映了市場關係的變化，誰擁有更為龐大的數據規模，誰就可以提供更廣更深的信息服務，而軟件和硬件的影響相對縮小。

雲計算是分佈式處理、並行計算和網格計算等概念的發展和商業實現，其技術實質是計算、存儲、服務器、應用軟件等IT軟硬件資源的虛擬化，雲計算在虛擬化、數據存儲、數據管理、編程模式等方面具有自身獨特的技術。雲計算的關鍵技術包括以下幾個方向：

虛擬機，即服務器虛擬化是雲計算底層架構的重要基石。在服務器虛擬化中，虛擬化軟件需要實現對硬件的抽象，資源的分配、調度和管理，虛擬機與宿主操作系統及多個虛擬機間的隔離等功能，目前典型的實現（基本成為事實標準）有Citrix Xen、VMware ESX Server 和Microsoft Hype-V等。

雲計算系統需要同時滿足大量用户的需求，並行地為大量用户提供服務。因此，雲計算的數據存儲技術必須具有分佈式、高吞吐率和高傳輸率的特點。目前數據存儲技術主要有Google的GFS（Google File System，非開源）以及HDFS（Hadoop Distributed File System，開源），目前這兩種技術已經成為事實標準。

雲計算的特點是對海量的數據存儲、讀取後進行大量的分析，如何提高數據的更新速率以及進一步提高隨機讀速率是未來的數據管理技術必須解決的問題。雲計算的數據管理技術最著名的是谷歌的BigTable數據管理技術，同時Hadoop開發團隊正在開發類似BigTable的開源數據管理模塊。

為了使用户能更輕鬆的享受雲計算帶來的服務，讓用户能利用該編程模型編寫簡單的程序來實現特定的目的，雲計算上的編程模型必須十分簡單。必須保證後台複雜的並行執行和任務調度向用户和編程人員透明。當前各IT廠商提出的“雲”計劃的編程工具均基於Map-Reduce的編程模型。

雲計算區別於單機虛擬化技術的重要特徵是通過整合物理資源形成資源池，並通過資源管理層（管理中間件）實現對資源池中虛擬資源的調度。雲計算的資源管理需要負責資源管理、任務管理、用户管理和安全管理等工作，實現節點故障的屏蔽，資源狀況監視，用户任務調度，用户身份管理等多重功能。

為了方便用户業務由傳統IT系統向雲計算環境的遷移，雲計算應對用户提供統一的業務接口。業務接口的統一不僅方便用户業務向雲端的遷移，也會使用户業務在雲與雲之間的遷移更加容易。在雲計算時代，SOA架構和以Web Service為特徵的業務模式仍是業務發展的主要路線。

雲計算模式帶來一系列的安全問題，包括用户隱私的保護、用户數據的備份、雲計算基礎設施的防護等，這些問題都需要更強的技術手段，乃至法律手段去解決。

隨着物聯網業務量的增加，對數據存儲和計算量的需求將帶來對“雲計算”能力的要求： 1. 雲計算：從計算中心到數據中心在物聯網的初級階段，PoP即可滿足需求

2. 在物聯網高級階段，可能出現MVNO/MMO營運商（國外已存在多年），需要虛擬化雲計算技術，SOA等技術的結合實現物聯網的泛在服務： TaaS （everyTHING As A Service)。

狹義雲營銷：幫客户銷售產品，快速建立全國營銷渠道，獲取經濟利益。 廣義雲營銷：樹立企業品牌形象，獲取更大社會資源等。

視頻雲計算應用在教育行業的實例：流媒體平台採用分佈式架構部署，分為web服務器，數據庫服務器、直播服務器和流服務器，如有必要可在信息中心架設採集工作站搭建網絡電視或實況直播應用，在各個學校已經部署錄播系統或直播系統的教室配置流媒體功能組件，這樣錄播實況可以實時傳送到流媒體平台管理中心的全局直播服務器上，同時錄播的學校本色課件也可以上傳存儲到金山區教育局信息中心的流存儲服務器上，方便今後的檢索、點播、評估等各種應用。 資源融合

1、遠程課堂：在互聯網上通過系統進行在線實時收看遠程教育頻道，方便地實現遠程聽課（同屏多畫面直播：一路學生視頻、一路老師視頻、一路老師電腦屏）、在線學習（課後回顧），更解決了一些不能來到學校上課的難題。同時將信號推到教委平台，供其它學校學生，在家、圖書館、電或其他地方，實時學習，也可以在課後觀看課堂錄像，完成學習任務。真正實現區內學校資源，名師資源的平衡化。

2、 學生實訓電視台：可以讓各學校建立多個實習電視台，讓學生社團主持現場直播電視節目，可事先公告排定活動，屆時讓師生實況收看，參與各種社團活動，活動過程可實時錄製成視頻檔案，並可事後編輯活動影片，作為點播教材。所有的頻道不僅在本學校網站上發佈，同時推送到教委資源融合網，方便其它學校共同收看與學習。實現多校活動協作，使活動多元化，豐富與擴大學生的知識面。

3、電視轉播：通過平台將電視的模擬信號實時採集並直播出去，這樣可以建立自己的網絡教育電視台，如中央十套、教育電視台等。教育管理部門可以根據自己教學規劃確定所選的頻道然後採集在平台上，當然可以定期調整。觀看者可以根據自己學習的需要選擇觀看。可以輕鬆的將平台的電視頻道建成包含數百頻道的大型網絡電視台。採用雲計算方式，中心教委可將各學校的直播信號融合，並整合後再傳給沒有直播採集信號的學校，實現資源的合理利用，減少學校的重複投資，實現教育資源均衡化。

4、紅色教育：將經典的，有教育和學習價值的電影，教育片，故事片，記錄片等集中存放到視頻服務器中，方便師生課後點擊學習，豐富學生的課餘生活，使得學生可以全面發展。該平台利用雲計算技術，支持所有的流媒體格式，可以實現批量添加，智能識別等功能，極大地方便了管理者和觀看者。各學校的資源可以自動融合到教委，並可以審請將教委的資源下傳到本校的視頻教育平台，實現資源共享。 ^[1] 

隨着雲計算技術 逐漸成為未來發展的趨勢，很多似是而非的觀點也日益凸顯，而對於安全問題的關注則更是層出不窮。本文獨闢蹊蹺，側重討論雲計算技術 為安全技術帶來的七大潛在利好。

減少數據泄露：這也是雲服務供應商談論最多的一個。在雲計算技術 出現之前，數據常常很容易被泄露，尤其是便攜筆記本電腦的失竊成為數據泄露的最大因素之一。為此需要添置額外備份磁碟機，以防數據外泄。而且隨着雲技術的不斷普及，數據“地雷”也將會大為減少。掌上電腦或者Netbook的小量、即時性的數據傳輸，也遠比筆記本電腦批量傳輸所面臨的風險小。你可以問任何一家大公司的信息安全管理人員(Certified Information Security Office，簡稱CISO)，是不是所有的筆記本電腦都安裝有公司授權的安全技術，比如磁盤加密技術(Full Disk Encryption)，他們會告訴你這是不大現實的。儘管在資產管理和數據安全上投入了不少精力，但是他們還是面臨不少窘境和困難，更何況那些中小企業?那些使用數據加密或者對重要數據分開存儲的企業，可以説少之又少。

可靠的安全監測：數據集中存儲更容易實現安全監測。如果數據被盜，後果不堪想象。通過存儲在一個或者若干個數據中心，數據中心的管理者可以對數據進行統一管理，負責資源的分配、負載的均衡、軟件的部署、安全的控制，並擁有更可靠的安全實時監測，同時，還可以降低使用者成本。

取證準備：在必要的時候，我可以利用基礎架構即服務(Infrastructure-as-a-Service，簡稱IaaS)供應商提供的條件，為自己公司建立一個專門的取證服務器。當事件發生需要取證時，我只需要支付在線存儲所產生的費用。而不需要額外配置人員去管理遠程登陸及其軟件，而我所要做的，就是點擊雲提供商Web界面中的一些按鈕即可。如果一旦產生多個事件反應，我可以先複製一份，並把這些取證工作分發到不同部門或者人員手中，然後進行快速分析並得出結論。不過，為了充分發揮這項功能，取證軟件供應商需要由過去傳統的軟件授權許可轉變到新型網絡許可模式。

縮短取證時間：如果有某個服務器在雲中出現了故障，我只要在雲客户端點擊鼠標，克隆該服務器並使得克隆後的服務器磁盤對取證服務器開放。我根本不需要臨時尋找存儲設備，並花時間等待其啓動並進入使用狀態，從而，大大縮短取證時間。

降低服務器出錯概率：和剛才講述的情況類似，即使有某台服務器出現故障，也可以在極短時間內，快速克隆並擁有全新的服務器供使用。另外，在某些情況下，更換出故障的硬件也不會影響到取證的正常進行。

取證更有針對性：在同一個雲中，擁有克隆服務器的速度會快很多——克隆服務器可以更快的速度分發雲提供商專門設計的文件系統。如果從網絡流量角度來看的話，在同一個雲中的服務器副本，可能並不會產生額外的費用。而如果沒有云的話，要實現同樣的目的，需要花費大量寶貴的時間和昂貴的硬件成本。在雲環境下，我只需要對有用的取證支付存儲費用。

隱藏取證痕跡：有一些雲存儲可以執行加密校驗和散列( hash)。比如，Amazon S3 會在你存儲數據的時候自動生成一個MD5 散列(hash)。在理論上，你也並不需要浪費時間去使用外部工具生成MD5加密校驗，因為雲已經完全具備這些功能。

縮短存取受保護數據時間：現在CPU性能已經十分強大。保護數據的密碼，需要花費很長時間來檢驗，而現在雲環境下配置強大的CPU，可以在短時間更大範圍內檢驗出保護數據的密碼性能。從而，批量處理受保護數據的存取工作也會變得簡易快速。

減少密碼破解時間：使用密碼破解工具定期對密碼強度進行測試，減少密碼破解時間，並更能保證密碼強度的可靠性，而你只需要支付相關費用即可。

密碼破解專用機器：使用分佈式密碼破解測試密碼強度，工作量會波及到很多相關機器，從而影響使用效率。在雲條件下，設立密碼破解專用機器，既可以提供工作效率，又可以減少敏感數據外泄和工作超負荷的發生。

無限期記錄，按次數收費：日誌往往都是事後的，如果磁盤空間不足，可以重新分配，並不會影響日誌的存儲使用。雲存儲可以隨心所欲地記錄標準日誌，沒有日期限制，按使用量支付費用。

完善日誌索引機制：在雲計算技術 中，你可以根據你的日誌實現實時索引，並享受到instant search帶來的好處。如果需要，還可以根據日誌記錄探測到計算機的動態信息，輕鬆實現實時監測。

符合擴展日誌記錄：現在，大部分的操作系統都使用C2審核跟蹤模式支持擴展日誌記錄，這種方式能夠保證系統能夠保護資源並具有足夠的審核能力，C2模式還允許我們監視對所有數據庫的所有訪問企圖。現在，我們在雲環境下更容易實現這一目的，而且Granular logging也會讓取證調查變得更加容易。

需求是前進的動力：CPU更新換代步伐越來越快。處理器性能成為機器運行瓶頸，在某種程度上説，雲帶來了安全產品的整體提升。

預控制機制：基於雲計算技術 的虛擬化能夠獲得更多的好處。自定義“安全”或者“可靠”的狀態，並且創VM鏡像同時不被克隆。要求有第三方工具的配合。

減少漏洞：通過離線安裝補丁，減少系統漏洞。鏡像在安全的狀態下做到實時同步，而即使離線VM也可以很方便地在斷網情況下安上補丁。

更容易檢測到安全狀況：通過你的工作環境副本，可以更低的成本和更少的時間執行安全檢測。在安全工作環境上前進了一大步。

雲計算的關鍵技術與應用實例

作　者：王鵬

出版社： 人民郵電出版社　　出版時間： 2010年01月

ISBN: 9787115217127

開本： 16開

定價: 39.00 元 ^[2] 

《雲計算的關鍵技術與應用實例》從並行計算切入，以全新的視角全面講述了雲計算技術，主要內容包括並行計算技術、雲計算的關鍵技術、架構及實例、雲計算與智能、雲計算技術的競爭性分析等內容。書中針對雲計算中的大量技術架構、細節及戰略問題提出了自己的看法和解決方案，並對雲計算的底層技術給出了具體的模型化實現實例——雲計算V0 01。這些內容大多數來自於我們近期在雲計算領域的研究成果和開發實際項目經驗。

全書內容豐富，知識跨度較大，對雲計算技術人員、技術戰略分析人員和愛好者均有重要的參考價值，也可供高等院校研究雲計算和並行計算的研究者和同學作為參考資料及教材使用。

第1篇　從並行計算到雲計算

第1章　並行計算與雲計算　3

第2章　MPI並行計算環境的建立　13

第3章　並行計算時代的程序設計方法　19

第4章　從MPI走向雲計算　53

第2篇　雲計算的關鍵技術

第5章　Map/Reduce是雲計算的選擇嗎　59

第6章　Hadoop技術　73

第7章　Hadoop環境的建立　91

第8章　動手做自己的雲計算V0.01系統　105

第3篇　雲計算應用實例

第9章　基於不可信服務器節點的雲計算基礎架構　147

第10章　雲計算與智能　165

第11章　雲計算企業之間的競爭性分析　197

後記　未來的計算——不確定性和隱含並行計算　217

附錄　計算力的標準Linpack測試詳細指南　223

參考文獻　236