交換級

交換級SSD通過對Hadoop相關數據的緩存來減少網絡中數據交換量和重複的任務操作，有效的提高整個集羣 的運行效率，起到對數據並行優化的作用。當然對於整個體系，無論是OpenFlow對整個網絡的控制，還是Hadoop數據緩存使得反應速度的提升與網絡數據交換量的減少，每一項技術都實現都與國內外的相關研究密不可分的。

交換級使用SSD擴展OpenFlow交換機存儲空間，通過SSD讀寫數據塊容量大的特點滿足交換級的緩存或者存儲要求，利用OpenFlow技術的智能型技術來對網絡中的數據進行要選擇性的存儲或者緩存，達到縮減傳輸距離和減少計算量作用。與傳統交換機擴展SSD作為緩存空間不同，交換級能夠智能的選取網絡中所需數據，而傳統交換機只能無差別的緩存所有數據報，如果針對需要緩存的數據進行修改將使得傳統的交換機更加不堪重負。

交換級SSD的核心是OpenFlow技術，通過OpenFlow技術可以有效的選取網絡中的特定數據進行緩存同時可以控制交換機使緩存數據在交換設備處進行轉發，省去到各個服務的請求和計算操作。

面對數據量的迅速增長，各種大型的集羣和數據中心的建立，網絡的規模也急劇膨脹，同時網絡的結構和功能日趨複雜，管控能力日趨減弱，尤其對於Hadoop這類對於大數據進行處理的技術，需要在分佈式集羣中進行大量的數據交換和存儲。

交換級SSD主要通過在交換節點緩存方式對於 ^[1]  Hadoop集羣中數據並行操作進行優化。交換級SSD緩存分別針

對MapReduce和HDFS進行優化，主要體現在幾個方面：

（1）MapReduce依賴於HDFS必須存儲才能計算，而Reduce階段需要接收Map階段產生大量的中間數據，將使得網絡數據交換量急劇增加造成網絡阻塞。

（2）HDFS針對小文件和實時性要求較高的請求上不具備優勢，通過HDFS工作流程可知，每一讀寫操作，客户端必然會與Namenode交互，對於小文件來説交互的通信時間已經足以從Datanode將數據返回到客户端了，也正是因為要與Namenode間通信，造成了一定的延時，犧牲讀取文件的實時性。

（3）交換級緩存還有一點就是減輕了主節點的負擔。Hadoop集羣中 ^[2]  MapReduce數據並行處理依賴於主節點的對各個從節點的任務分配與調度，同時HDFS的文件讀寫也需要主節點中元數據的支持，所以Hadoop的工作離不開與主節點的通信。

交換級對Hadoop集羣並行數據優化，主要通過交換級SSD在交換節點處對Hadoop集羣中相關數據進行緩存，通過減少MapReduce重複計算，減少集羣間數據交換，解決小文件訪問延時問題來提高數據並行效率。交換級在Hadoop集羣中起到交換設備和分佈式緩存設備的作用。

為了協調與管理交換設備上的數據交換與數據緩存，引入OpenFlow技術。OpenFlow交換機相比傳統交換機有幾個優勢：

（1）在控制器的幫助下，OpenFlow交換機被傳統的交換機更加容易的從網絡數據報中提取出所需的數據信息。

（2）控制器可以在OpenFlow交換機運行的時候下達最新的命名，指示交換機進行最新的操作。

（3）OpenFlow的可以Hadoop集羣消息制定流表，更加有效的協調數據交換和數據緩存。