CPU一級緩存

緩存大小也是CPU的重要指標之一，而且緩存的結構和大小對CPU速度的影響非常大，CPU內緩存的運行頻率極高，一般是和處理器同頻運作，工作效率遠遠大於系統內存和硬盤。實際工作時，CPU往往需要重複讀取同樣的數據塊，而緩存容量的增大，可以大幅度提升CPU內部讀取數據的命中率，而不用再到內存或者硬盤上尋找，以此提高系統性能。但是由於CPU芯片面積和成本的因素來考慮，緩存都很小。

CPU緩存（Cache Memory）是位於CPU與內存之間的臨時存儲器，它的容量比內存小的多但是交換速度卻比內存要快得多。緩存的出現主要是為了解決CPU運算速度與內存讀寫速度不匹配的矛盾，因為CPU運算速度要比內存讀寫速度快很多，這樣會使CPU花費很長時間等待數據到來或把數據寫入內存。在緩存中的數據是內存中的一小部分，但這一小部分是短時間內CPU即將訪問的，當CPU調用大量數據時，就可避開內存直接從緩存中調用，從而加快讀取速度。由此可見，在CPU中加入緩存是一種高效的解決方案，這樣整個內存儲器（緩存 內存）就變成了既有緩存的高速度，又有內存的大容量的存儲系統了。緩存對CPU的性能影響很大，主要是因為CPU的數據交換順序和CPU與緩存間的帶寬引起的。

緩存的工作原理是當CPU要讀取一個數據時，首先從緩存中查找，如果找到就立即讀取並送給CPU處理；如果沒有找到，就用相對慢的速度從內存中讀取並送給CPU處理，同時把這個數據所在的數據塊調入緩存中，可以使得以後對整塊數據的讀取都從緩存中進行，不必再調用內存。

正是這樣的讀取機制使CPU讀取緩存的命中率非常高（大多數CPU可達90%左右），也就是説CPU下一次要讀取的數據90%都在緩存中，只有大約10%需要從內存讀取。這大大節省了CPU直接讀取內存的時間，也使CPU讀取數據時基本無需等待。總的來説，CPU讀取數據的順序是先緩存後內存。

目前緩存基本上都是採用SRAM存儲器，SRAM是英文Static RAM的縮寫，它是一種具有靜態存取功能的存儲器，不需要刷新電路即能保存它內部存儲的數據。不像DRAM內存那樣需要刷新電路，每隔一段時間，固定要對DRAM刷新充電一次，否則內部的數據即會消失，因此SRAM具有較高的性能，但是SRAM也有它的缺點，即它的集成度較低，相同容量的DRAM內存可以設計為較小的體積，但是SRAM卻需要很大的體積，這也是目前不能將緩存容量做得太大的重要原因。它的特點歸納如下：優點是節能、速度快、不必配合內存刷新電路、可提高整體的工作效率，缺點是集成度低、相同的容量體積較大、而且價格較高，只能少量用於關鍵性系統以提高效率。

按照數據讀取順序和與CPU結合的緊密程度，CPU緩存可以分為一級緩存，二級緩存，部分高端CPU還具有三級緩存，每一級緩存中所儲存的全部數據都是下一級緩存的一部分，這三種緩存的技術難度和製造成本是相對遞減的，所以其容量也是相對遞增的。當CPU要讀取一個數據時，首先從一級緩存中查找，如果沒有找到再從二級緩存中查找，如果還是沒有就從三級緩存或內存中查找。一般來説，每級緩存的命中率大概都在80%左右，也就是説全部數據量的80%都可以在一級緩存中找到，只剩下20%的總數據量才需要從二級緩存、三級緩存或內存中讀取，由此可見一級緩存是整個CPU緩存架構中最為重要的部分。

一級緩存（Level 1 Cache）簡稱L1 Cache，位於CPU內核的旁邊，是與CPU結合最為緊密的CPU緩存，也是歷史上最早出現的CPU緩存。由於一級緩存的技術難度和製造成本最高，提高容量所帶來的技術難度增加和成本增加非常大，所帶來的性能提升卻不明顯，性價比很低，而且現有的一級緩存的命中率已經很高，所以一級緩存是所有緩存中容量最小的，比二級緩存要小得多。

一般來説，一級緩存可以分為一級數據緩存（Data Cache，D-Cache）和一級指令緩存（Instruction Cache，I-Cache）。

二者分別用來存放數據以及對執行這些數據的指令進行即時解碼，而且兩者可以同時被CPU訪問，減少了爭用Cache所造成的衝突，提高了處理器效能。目前大多數CPU的一級數據緩存和一級指令緩存具有相同的容量，例如AMD的Athlon XP就具有64KB的一級數據緩存和64KB的一級指令緩存，其一級緩存就以64KB 64KB來表示，其餘的CPU的一級緩存表示方法以此類推。

Intel的採用NetBurst架構的CPU（最典型的就是Pentium 4）的一級緩存有點特殊，使用了新增加的一種一級追蹤緩存（Execution Trace Cache，T-Cache或ETC）來替代一級指令緩存，容量為12KμOps，表示能存儲12K條即12000條解碼後的微指令。一級追蹤緩存與一級指令緩存的運行機制是不相同的，一級指令緩存只是對指令作即時的解碼而並不會儲存這些指令，而一級追蹤緩存同樣會將一些指令作解碼，這些指令稱為微指令（micro-ops）,而這些微指令能儲存在一級追蹤緩存之內，無需每一次都作出解碼的程序，因此一級追蹤緩存能有效地增加在高工作頻率下對指令的解碼能力，而μOps就是micro-ops，也就是微型操作的意思。它以很高的速度將μops提供給處理器核心。Intel NetBurst微型架構使用執行跟蹤緩存，將解碼器從執行循環中分離出來。這個跟蹤緩存以很高的帶寬將uops提供給核心，從本質上適於充分利用軟件中的指令級並行機制。Intel並沒有公佈一級追蹤緩存的實際容量,只知道一級追蹤緩存能儲存12000條微指令（micro-ops）。所以，我們不能簡單地用微指令的數目來比較指令緩存的大小。實際上，單核心的NetBurst架構CPU使用8Kμops的緩存已經基本上夠用了，多出的4kμops可以大大提高緩存命中率。而如果要使用超線程技術的話，12KμOps就會有些不夠用，這就是為什麼有時候Intel處理器在使用超線程技術時會導致性能下降的重要原因。

例如Northwood核心的一級緩存為8KB 12KμOps，就表示其一級數據緩存為8KB，一級追蹤緩存為12KμOps；而Prescott核心的一級緩存為16KB 12KμOps，就表示其一級數據緩存為16KB，一級追蹤緩存為12KμOps。在這裏12KμOps絕對不等於12KB，單位都不同，一個是μOps，一個是Byte（字節），而且二者的運行機制完全不同。所以那些把Intel的CPU一級緩存簡單相加，例如把Northwood核心説成是20KB一級緩存，把Prescott核心説成是28KB一級緩存，並且據此認為Intel處理器的一級緩存容量遠遠低於AMD處理器128KB的一級緩存容量的看法是完全錯誤的，二者不具有可比性。在架構有一定區別的CPU對比中,很多緩存已經難以找到對應的東西,即使類似名稱的緩存在設計思路和功能定義上也有區別了，此時不能用簡單的算術加法來進行對比；而在架構極為近似的CPU對比中，分別對比各種功能緩存大小才有一定的意義。一級緩存的起源針對內存的速度瓶頸，英特爾為80386設計了高速緩存（Cache），採取預讀內存的方法來緩解這個速度瓶頸。本來最初的設計，80386將內置L1 Cache，但由於工藝、成本、工期等等方面的限制，80386最後並沒有內置L1 Cache，而是將專門開發的L1 Cache芯片放置在CPU之外的主板上，但從此以後，Cache就和CPU成為了如影隨形的東西。 一級緩存與二級緩存比較　L1 cache vs L2 Cache用於存儲數據的緩存部分通常被稱為RAM，掉電以後其中的信息就會消失。RAM又分兩種，其中一種是靜態RAM(SRAM)；另外一種是動態RAM(DRAM)。前者的存儲速度要比後者快得多，我們現在使用的內存一般都是動態RAM。CPU的L1級緩存通常都是靜態RAM，速度非常的快，但是靜態RAM集成度低(存儲相同的數據，靜態RAM的體積是動態RAM的6倍)，而且價格也相對較為昂貴(同容量的靜態RAM是動態RAM的四倍)。擴大靜態RAM作為緩存是一個不太合算的做法，但是為了提高系統的性能和速度又必須要擴大緩存，這就有了一個折中的方法：在不擴大原來的靜態RAM緩存容量的情況下，僅僅增加一些高速動態RAM做為L2級緩存。高速動態RAM速度要比常規動態RAM快，但比原來的靜態RAM緩存慢，而且成本也較為適中。一級緩存和二級緩存中的內容都是內存中訪問頻率高的數據的複製品(映射)，它們的存在都是為了減少高速CPU對慢速內存的訪問。二級緩存是CPU性能表現的關鍵之一，在CPU核心不變化的情況下，增加二級緩存容量能使性能大幅度提高。而同一核心的CPU高低端之分往往也是在二級緩存上存在差異，由此可見二級緩存對CPU的重要性。CPU在緩存中找到有用的數據被稱為命中，當緩存中沒有CPU所需的數據時(這時稱為未命中)，CPU才訪問內存。從理論上講，在一顆擁有二級緩存的CPU中，讀取一級緩存的命中率為80%。也就是説CPU一級緩存中找到的有用數據佔數據總量的80%，剩下的20%從二級緩存中讀取。由於不能準確預測將要執行的數據，讀取二級緩存的命中率也在80%左右(從二級緩存讀到有用的數據佔總數據的16%)。那麼還有的數據就不得不從內存調用，但這已經是一個相當小的比例了。目前的較高端CPU中，還會帶有三級緩存，它是為讀取二級緩存後未命中的數據設計的—種緩存，在擁有三級緩存的CPU中，只有約5%的數據需要從內存中調用，這進一步提高了CPU的效率，從某種意義上説，預取效率的提高，大大降低了生產成本卻提供了非常接近理想狀態的性能。除非某天生產技術變得非常強，否則內存仍會存在，緩存的性能遞增特性也仍會保留。 CPU緩存與內存的關係既然CPU緩存能夠在很大程度上提高CPU的性能，那麼，有些朋友可能會問，是不是將來有可能，目前的系統內存將會被CPU取代呢？

答案應該是否定的，首先，儘管CPU緩存的傳輸速率確實很高，但要完全取代內存的地位仍不可行，這主要是因為緩存只是內存中少部分數據的複製品，所以CPU到緩存中尋找數據時，也會出現找不到的情況(因為這些數據沒有從內存複製到緩存中去)，這時CPU還是會到內存中去找數據，與此同時系統的速度就慢了下來，不過CPU會把這些數據複製到緩存中去，以便下一次不用再到內存中去取。也即是説，隨着緩存增大到一定程度，其對CPU性能的影響將越來越小，在性能比上來説，越來越不合算。就目前緩存容量、成本以及功耗表現來看，還遠遠無法與內存抗衡，另外從某種意義上來説，內存也是CPU緩存的一種表現形式，只不過在速率上慢很多，然而卻在容量、功耗以及成本方面擁有巨大優勢。如果內存在將來可以做到足夠強的話，反而很有取代CPU緩存的可能。

緩存的讀寫算法同樣重要即便CPU內部集成的緩存數據交換能力非常強，也仍需要對調取數據做一定的篩選。這是因為隨着時間的變化，被訪問得最頻繁的數據不是一成不變的，也就是説，剛才還不頻繁的數據，此時已經需要被頻繁的訪問，剛才還是最頻繁的數據，現在又不頻繁了，所以説緩存中的數據要經常按照一定的算法來更換，這樣才能保證緩存中的數據經常是被訪問最頻繁的。命中率算法中較常用的“最近最少使用算法”(LRU算法)，它是將最近一段時間內最少被訪問過的行淘汰出局。因此需要為每行設置一個計數器，LRU算法是把命中行的計數器清零，其他各行計數器加1。當需要替換時淘汰行計數器計數值最大的數據行出局。這是一種高效、科學的算法，其計數器清零過程可以把一些頻繁調用後再不需要的數據淘汰出緩存，提高緩存的利用率。 高速緩存做為CPU不可分割的一部分，已經融入到性能提升的考慮因素當中，伴隨生產技術的進一步發展，緩存的級數還將增加，容量也會進一步提高。作為CPU性能助推器的高速緩存，仍會在成本和功耗控制方面發揮巨大的優勢，而性能方面也會取得長足的發展。