大規模並行處理計算機

大規模並行處理的思想始於20世紀50年代。1950年，馮·諾依曼就提出了“自複製細胞自動機”的概念。1958年斯蒂文·尤格(Steven Unger)提出了構造二維“單指令流多數據流”(SIMD)陣列機的設想，1963年曾按這種構想提出了兩種方案：Soloman系統和nliacⅢ，但均以失敗告終。1972年，nlinois大學與Burrough公司合作研製的nliac Ⅳ可以説是大規模並行處理計算機的鼻祖。該機將陣列分成4個象限，每個象限包含8×8個處理器(PE)，每個PE可以和上下左右4個PE通信，這種設計思想對多處理機陣列結構的研究及設計產生了極大的影響。由於當時硬、軟件水平所限，nliac Ⅳ只做了一個象限，並且不大成功。

到20世紀80年代中期以來，隨着超大規模集成電路技術的發展，以及單片微處理機性能的提高和並行處理技術的進步，產生了一批新的大規模並行處理計算機。美國思維機器公司於1986年研製成功CM一1，第二年又推出CM一2，該系統最多可有65 536個處理機，峯值速度達28GFLOPS，1992年又推出世界上最快的機器CM-5。

美國Intel Scientific Computer公司從80年代中期開始，先後推出了ipsc/1、ipsc/2、ipsc/860三代大規模並行處理計算機，隨後又發表了Tristar計劃。

美國高度並行處理技術之所以興旺發達，與美國政府的有力支持和對研究與開發的高強度投入有直接關係。如美國研究與開發的優先領域是軍事、空間、衞生、能源和基礎科學，這些都是政府支持的項目，其中空間和能源領域主要是軍用。具體地説，就是美國國防部、能源部、航空和宇航局等將高達425億美元的鉅款通過美國國家實驗室的常設機構(聯邦資助研究與開發中心)，以各種規劃形式，對高度並行處理計算機的研究與開發進行資助。 ^[2] 

巨型機的運算速度可達每秒幾百億次運算，大規模並行處理的計算機將是巨型計算機的重要發展方向。 ^[3] 

隨着超大規模集成電路技術的迅速發展，市場上出現了許多高性能的單片微處理器，例如，i860、R4000、Alpha、PA—RISC等，給大規模並行處理機的發展提供了條件。有不少大公司在優化處理單元技術，開發和利用高性能微處理器，如採用新一代RISC微處理機芯片製作新一代大規模並行處理計算機系統，例如Clay的Tara一3D，Intel的Paragon XP/S，TMC的CM一5等。 ^[2] 

互連網絡結構的設計對計算機系統性能的影響很大。互連網絡結構一般和應用領域中數據之間的關係以及並行算法的設計有關。因此在設計互連網絡時，要考慮實際算法的特點以及網絡連接的複雜程度。大規模並行處理計算機採用的互連網絡有：總線(Bus)、鏈接(Fully—Connected)、縱橫交叉(Crossber)、靜態點到點、動態單級網絡和動態多級網絡。

由於大規模並行處理計算機中處理機很多，各處理機間同步與通信是一個難點，採用軟件方法實現同步與通信時，其同步與通信開銷比較大，如果用硬件實現同步與通信，效率會高得多，但技術難度較大。

在大規模並行處理計算機中，可採用向量機作其前端機，擔任主控和I/O處理，而讓並行處理系統負責進行高速運算。 ^[2] 

大規模並行處理計算機的存儲組織有許多型式。例如，SIMD型和分佈式存儲的MIMD型計算機一般採用分佈存儲器組織結構，每個節點有各自的地址空間，但沒有一個全局的地址空間，節點間的計算相互獨立，數據和信息交換按消息傳遞方式進行。這種存儲器組織，給程序員編程和算法設計帶來困難，數據交換不方便，進程間不能轉移。對於緊耦合的MIMD型機，採用統一的地址空間供多個處理器使用，這種組織編程十分方便，數據共享容易。 ^[1] 

並行操作系統、並行程序設計語言、並行算法和並行應用軟件，更是大規模並行處理機的關鍵技術。使用的並行操作系統主要是基於UNIX分佈式操作系統，如nCUBE的nCX，Tara一3D的Math，ipsc/860的NX等。分佈式操作系統的設計難點有：自動負載平衡問題、節點間同步通信問題、對分佈共享存儲的管理問題等。已經開發的多種並行語言，基本上遵從兩類編程模式，一是共享存儲編程模式，二是消息傳遞編程模式。並行的表示方法有顯式和穩式兩種。其中顯式表示方法必須考慮增加什麼語言成份才能有效且方便地支持並行程序設計。而隱式表示方法，編譯器必須自動識別用户程序中的並行性。無論是哪種方法，編譯必須考慮“數據對準”的問題和任務劃分問題，以便支持多個處理單元協同工作。 ^[2] 

從技術角度看MPP系統分為單指令流多數據流（SIMD）系統和多指令流多數據流（MIMD）系統兩類。SIMD系統結構簡單，應用面窄，MIMD系統則是主流，有的MIMD系統亦同時支持SIMD方式。MPP系統的主存儲器體系分為集中共享方式和分佈共享方式兩類，分佈共享方式則是一種趨向。

MPP系統的成熟和普及還需要做大量的工作，以研究更好的，更通用的體系結構，更有效的通訊機制，更有效的並行算法，更好的軟件優化技術，同時要着重解決MPP系統程序設計十分困難的問題，提供良好的操作系統和高級程序語言，以及提供方便用户使用的，可視化的，交互式軟件開發工具。