平行運算

平行運算 又名 並行計算（Parallel Computing）

並行計算的主要目的是快速解決大型且複雜的計算問題。此外還包括：利用非本地資源，節約成本 ― 使用多個“廉價”計算資源取代大型計算機，同時克服單個計算機上存在的存儲器限制。

傳統地，串行計算是指在單個計算機（具有單箇中央處理單元）上執行軟件寫操作。CPU 逐個使用一系列指令解決問題，但其中只有一種指令可提供隨時並及時的使用。並行計算是在串行計算的基礎上演變而來，它努力仿真自然世界中的事務狀態：一個序列中眾多同時發生的、複雜且相關的事件。

為利用並行計算，通常計算問題表現為以下特徵：

將工作分離成離散部分，有助於同時解決；

隨時並及時地執行多個程序指令；

多計算資源下解決問題的耗時要少於單個計算資源下的耗時。

下面的矩陣列出了計算結構的4種可能性分類：

S I S D S I M D M I S D M I M D

單指令流單數據流 單指令流多數據流 多指令流單數據流 多指令流多數據流

在下面的站點上有相關的圖片和示意圖