消息傳遞

在消息傳遞多處理機系統中，每台處理機有各自的局部存儲器和高速緩衝存儲器，每台處理機只能訪問自己的局部存儲器，處理機間的通信通過消息傳遞來進行。與消息傳遞對應的是共享存儲。

消息傳遞模型在並行計算領域中得到廣泛應用，有如下優點：

①硬件適用範圍廣。消息傳遞模型不但在並行計算機中工作良好，而且適用於機羣系統（許多處理機通過通信網絡連接而形成的系統）。

②功能強。消息傳遞提供描述並行算法的全部功能，還提供數據並行模型不提供的控制功能。

③性能好。現代中央處理器的有效利用需要存儲層次結構的有效管理，消息傳遞通過顯式控制數據局部性實現這一點。

④可擴展性好。從幾個或幾十個結點的機羣到成千上萬個結點的超大型計算機，體現了消息傳遞的可擴展性。消息傳遞的主要缺點是需要編程人員進行細緻的數據分佈和負責消息傳遞的進行。編程人員必須顯式實現數據分佈，進程間通信和同步；解決數據依賴，避免死鎖和競爭，編程複雜度比共享存儲要大得多。為了獲得良好的並行性能，首先要求避免或減少通信，增加數據局部性，減少不必要的同步，加細並行粒度；其次儘量保持通信與計算的交疊（部分重疊）來容忍通信，如採用非阻塞或異步的消息傳遞例程；最後還須減小通信的開銷，如減少緩衝區拷貝次數，採用精簡的通信協議等。 ^[1]