流量管理

基於網絡的流量現狀和流量管控策略，對數據流進行識別分類，並實施流量控制、優化和對關鍵IT應用進行保障的相關技術。 ^[1] 

流量管理近年來和“網絡或互聯網服務的服務質量”，也就是我們通常説的QoS密切相關。為衡量服務質量，業界提出如下測量維度：

1時延時延是指IP包從網絡入口點到達網絡出口點所需要的傳輸時間。一些對時間敏感的應用，如實時的語音業務和視頻業務對時延的要求最為嚴格。造成網絡時延的主要因素可以簡單地分為網絡產生的時延和設備產生的時延。設備產生的時延一般是指設備處理業務數據時產生的時延，這與設備的性能有很大關係，包括網絡各個層面的設備，如SDH設備、路由設備和媒體網關等。網絡產生的時延包括基本的傳輸時延(即電信號或光信號在物理媒介上傳輸所需的固有時延)和鏈路速率時延(即當鏈路速率低於數據發送速率時產生的時延)。由於IP網絡盡力而為的特性，設備產生的時延和網絡產生的時延都還與實際網絡中的數據流量狀況有關。當數據量較大、網絡和設備滿負荷運轉時。產生的擁塞和排隊、調度和轉發時延將會顯著增加。

2抖動語音信號是連續的，在發送端經過壓縮打包後在IP網絡中傳輸時，由於數據包傳送的路徑可能不同，因此不同的數據包到達接收端的時間也可能不同，導致接收端在回放語音時產生時斷時續的狀況，稱為抖動。接收端可以採用增加接收緩衝區的方式來對抖動產生的影響進行彌補。但是抖動緩衝區的大小將同時影響抖動和時延。如果抖動對語音質量產生了影響，那麼增加抖動緩衝區的大小就可以將抖動減少到可以接受的程度；但是如果緩衝區過大，就會增加時延，同樣會使得用户難以接受。典型的抖動緩衝區產生的時延為20ms，但是通常會達到80ms。抖動緩衝區的大小需要根據具體的網絡情況來設定。

3丟包率一般情況下，數據包在網絡中產生擁塞的點被丟掉，在傳輸線路中產生的錯誤包同樣也會被丟掉。通常當接收包的數量超過了輸出端口的大小限制時就會產生擁塞，由此而產生丟包。如果在包到達的一端沒有足夠的輸入緩衝，也會造成丟包。丟包率通常被定義為一個連續若干個包以一定的時間間隔在網絡中傳送時，被丟掉的包所佔的百分比。從用户體驗的角度來講，一般高於2%的丟包率便無法接受了。

4吞吐量吞吐量是指網絡中IP包的傳輸速率，可表示為平均速率或峯值速率。網絡的吞吐量是衡量網絡轉發IP包的能力，主要取決於鏈路速率、節點設備的端口速率和網絡的業務量狀況。

5可用性可用性是指用户能夠使用IP業務可用性功能的時間間隔佔IP業務全部時間間隔的百分比。在連續5min內，如果一個IP網絡所提供的丟包率小於或等於75%，則認為該時間段是可用的，否則是不可用的。可用性主要用於衡量網絡設備、鏈路正常提供業務的能力，確定該網絡設備、鏈路是否能夠支持連續可用的數據包傳送業務。

TCP/IP起源於上世紀6 0年代末美國政府資助的一個研究項目，開始只是用於幾台機器的連接通訊，後來需要連接的機器越來越多，網絡也從小型局域網向局域網互連——這就是我們現在廣域網的最初雛形。TCP/IP在不斷完善後被作為一項基礎的通訊協議用於了廣域網，這是網絡通訊發展上的一次里程碑式的變革，直到現在，我們還在繼續使用TCP/IP。TCP/IP協議簇裏的TCP和UDP協議，更是90%以上的應用要用的基礎協議。

TCP是一種面向對象的傳輸協議，為了保障數據傳輸的安全，在傳輸過程中需要進行多次協商建立連接，而UDP則不是面向連接的，關注發送速度而不關注數據安全性，是種粗暴的傳輸方式，當時應用不廣，主要用於DNS解析等。但是那時候人們對於廣域網還是預計不足，由於廣域網帶寬明顯小於局域網帶寬，隨着使用人數增多，網絡出口處數據擁塞的瓶頸問題開始漸漸顯露出來（瓶頸倒水），1986年初，Jacobson針對出現端倪的網絡擁塞開發了基礎的擁塞控制機制。

1988年Jacobson針對TCP在控制網絡擁塞方面的不足，提出了“慢啓動”和“擁塞避免”算法。 1990年TCP Reno版本推出增加了“快速重傳”快速恢復”算法。這幾個算法稱為了避免網絡擁塞的基礎，是目前網絡沒有陷入癱瘓的最大功臣。到1996年的時候，國外以Packeteer（2008年被Blue Coat收購）為首的廠家為了解決跨國公司分公司訪問總部業務服務器的速度問題首次推出了專業的流量管理設備。當時，一般跨國公司都是通過國際專線連接總部和分公司，帶寬非常昂貴，而普通的網絡設備如防火牆、路由器和核心三層交換機等無法識別第七層應用如Oracle、SAP 等，因此以Packeteer為首的廠家開發出基於第七層應用的流量管理設備來滿足這個需求。因為跨國公司的業務比較簡單，應用數量也不多（一般為業務系統、郵件等），所以基於第七層應用的流量管理方式很適合這種網絡環境。

2003年左右，互聯網再次出現重大變革， P2P開始興起，對於網絡的衝擊很大，通常P2P應用會佔用網絡的總流量的50%-80%，和當年跨國公司的網絡環境相比，應用數量變得非常大，通常在1 萬種以上，同時出口帶寬也變得非常大，從而使得基於第七層應用的流量管理方式遭遇了性能、技術和管理方式的雙重瓶頸。

在P2P改變了用户網絡行為模型圖示中，我們可以看到用户的網絡行為模型由以往的星狀變成了網狀。由於我們在之前看到所有的網絡都是以客户端和服務器之間的交互，用這種訪問模型去構建現在所有的網絡，而且我們的網絡產品也是基於這種模型去設計和建造的。P2P出現之後，所有網絡的模型，用户和用户之間產生了非常大交互的數據量，這樣就形成一個扁平網狀的模型，這種模型現在我們構建出來的基於星形連接的模式是不適合P2P新的網絡訪問模型，這樣就給整個網絡帶來非常大的災難性的影響。可想而知，在這種網絡環境下，幾乎所以的用户都會面臨“網絡擁塞”的挑戰，造成的結果就是不到5%的P2P用户佔用了90%以上的帶寬資源。

市場上二十多種流量控制產品做了研究，發現大多數仍是採用的是基於DPI的深度包解析技術（應用和協議識別技術）和隊列管理機制。

這種技術是對經過流量控制設備的數據包進行深度的拆包解析，並與設備自身的特徵數據庫進行匹配。原理上與當前流行的殺毒軟件一致，但是殺毒軟件是在本地進行的，流量管理設備是在網絡出口處的，這種方式無疑會增大網絡延遲，影響網絡效率，並且對硬件本身也是折磨，遇到大流量的話，設備不是掛掉，就是直接放行流量。並且現在應用越來越多，P2P自身也在不斷髮展，第一代P2P：集中式P2P應用，Napster模式，固定TCP端口；這一代的P2P生命力十分脆弱――只要關閉服務器，網絡就死了；第二代P2P：分佈式P2P應用，跳躍端口，隨機端口；盜用常用端口（如HTTP的80）；HTTP隧道（偽裝成HTTP流量）；HTTP代理隧道（如SOCKS代理），第二代分佈式P2P沒有中央服務器，但是速度太慢；第三代P2P：介於集中與分佈之間，屬於混合型，採用分佈服務器；發展到現在出現了所謂的第四代P2P，這一代P2P相比第三代，技術上沒有很大的革新，（但有兩個明顯特點）增加無用隨機數據（如BT等）和數據加密（如迅雷採用了密碼學中的高級加密標準AES加密法，又稱Rijndael加密法，是美國聯邦政府採用的一種區塊加密標準。這個標準用來替代原先的DES，已經被多方分析且廣為全世界所使用，號稱三十年無法破譯。）兩個手段使協議流量特徵模糊化；多協議並用，（比如迅雷就HTTP與FTP協議並存）；這類特徵都面對一個目的，逃避監管。

迅雷、 BT、eMule為代表的“加密化”趨勢，讓傳統方案束手無策。從管理方式來説，以前基於第七層應用的微觀管理流量的方式在大型網絡中日益不適合，不但使最終用户覺得隱私沒有保障，產生逆反心理，而且管理效果不佳。

從基於應用識別的管理圖示來看，當新的應用層出不窮，而特徵庫的更新總是在新應用出現之後。在更新特徵庫這段時間，網絡總是處在無序的狀態，時好時壞。這樣始終是一個變異——更新——升級的惡性循環。

採取隊列機制來管理數據包的傳輸，在上載方向上確實適用，但在下載方向上完全無能為力，這種通過丟棄已收到數據包的方式強行將某些應用佔用的帶寬降下來，將導致下載帶寬損失。隊列技術最大的兩個問題就是對於所有流量造成延時和無法支持大於1000 的隊列通道。

隊列管理機制帶寬控制圖示中，以P2P控制為例，假如我們設定LAN中流量管理設備允許20%下行帶寬的P2P下載流量通過，這時從WAN上過來了40%的P2P流量，當這40%的P2P流量傳到流控設備時，因為我們事先設定只允許20%的P2P下載流量數據包通過，那麼20%的P2P下載流量數據包就會被流控設備丟掉，但被丟棄的20%的P2P下載流控數據包仍然佔用着WAN上的寬帶。這個時候，除了允許的這20%的P2P流量外，我們發現只有60%下行帶寬可以用於其它數據傳輸，其實帶寬利用率卻只有80%，其中20%的流量被白白的浪費掉了。

從上述的分析來看，不管是採用應用和協議識別技術，還是隊列管理機制，帶寬管理仍會面臨如下的挑戰：

A．互聯網的應用及傳輸協議成千上萬，不可能保證所有的應用都能正確識別。

B．迅雷等P2P新興軟件，採用私有加密協議，並通過常用端口進行連接（如80,443等）以逃避各種控制，增加應用流量管理對此類應用控制的難度。

C．由於應用的不斷增加及頻繁變化，流量管理設備本身需不斷更新識別庫，且識別庫的更新也很難保證快速及時。

D．網絡管理人員需要頻繁策略以應對各種新的應用。

E． 各類信息流平均分獲一定的帶寬，網絡閒時容易造成網絡資源利用率低。

F． 只能控制網絡內部的流量，對網絡出口處的擁塞毫無幫助。

G．無法滿足應用程序對實時性越來越高的要求。

在P2P應用大行其道的網絡年代，用户對能在控制好流量的同時，又保證網絡資源利用率在最高狀態；能自動識別濫用帶寬用户並加以限制，又避免了先有應用後有識別碼的惡性循環；能根據網絡負載情況動態自動調整策略，又便於IT人員對當前的帶寬應用進行分析和故障排查的訴求將會越來越普遍。

目前又有關於以提升帶寬利用率，的帶寬管理技術，“精確的端到端流量控制” 是什麼概念呢。就是由接收端可以根據當前的網絡負荷狀況來遙控發送端。告訴發送端我能夠接受多少的數據包，你就發送多少數據包從而避免了網絡擁塞的產生。使得網絡整體連接狀況總是處在平穩的狀態中。

國內的話有上海雲速網絡科技可以提供這樣的技術。

【系統平台】支持Android 2.2及以上版本

My Data Manager是安卓客一款針對用户手機流量進行管理的實用工具，可設置月、日流量上限，可查看每款應用實用的流量，並支持臨界報警，幫助用户有效安排流量使用，節省費用。

v1.1.23更新：

- 通知圖標現在是看不到的

- 可選擇匿名分享

- 新增無線裝置支持

流量管理系統是一套對網絡行為應用流量進行分析、監管和管控的專業系統。天融信TopFlow能夠對用户網絡行為流量進行精細化管理，為管理者提供圖形化的應用監視、應用分析、流量管理、應用統計、應用控制、流量審計、應用報表等功能，是最新一代應用豐富且管控精準的應用流量分析監管系統。網絡衞士應用流量管理系統從百兆到萬兆，全系列產品都具有很高的系統穩定性，適用於強調圖形化應用行為監控分析、用户行為精細化控制、應用識別精準度大於99%、系統運行要求穩定的網絡環境。

通過完善的應用協議特徵庫(signatures)檢測和偽裝探測技術，並採用 DPI(Deep Packet Inspection)深度包檢測技術來識別各種用户應用，特別對採用逃避技術的加密協議進行精準識別，如採用加密傳輸的迅雷、電驢、QVOD視頻等加密類協議進行及時而精準識別，應用識別率超過99%。

1、天融信TopFlow採用先進的技術對硬件和軟件進行優化處理：

硬件優化：採用多核架構，四核各司其職，專職處理管理、監控、檢測和控制等模塊，大大提升資源利用率。

軟件優化：基於TOS平台，進行協議棧優化，對高性能處理需求進行中斷處理函數和網卡驅動修改，優先處理，超高速放行。

策略優化：採用“節點”管理技術，優化檢測匹配策略提高檢測效率.

2、性能可達萬兆（20G），併發可達2000萬，用户數可支持50萬，可用於運營商；高可靠性；雙OS系統冗餘備份功能，保證在任何狀況下系統運行的穩定性，同時完善的bypass功能保證系統健康運行。堅若磐石的雙進程容錯技術，保障系統健壯，出錯後自動癒合。

可實時顯示單個IP流量速率和單個當前各個應用的速率明細，如放大鏡一般層層顯示，可快速得到基於用户應用行為的分析，幫助用户保護網絡、及時發現惡意流量、阻止安全威脅和惡意流量及故障排除，發現性能問題；可視網絡，瞭解你的網絡應用和用户的活動；優化網絡，保證應用和服務的性能；規劃未來、決定未來需求、分析長期趨勢、規劃未來的需求及容量，層層監控分析剖析整個網絡。

對http應用進行詳細管控，如控制用户通過HTTP下載某類型文件，控制用户訪問某些網站，也可控制用户在論壇及微博發帖，主動杜絕用户在某些網站發佈不良信息；對DNS管控。如可根據不同運營商鏈路將DNS解析到對應的線路上，實現對內網DNS請求進行代理、對外網DNS響應進行劫持的功能。支持應用分流和流量代理功能，可實現應用路由、應用負載均衡功能，真正將網絡的各種應用流量進行有效管理和控制。

可提供單個IP對應的用户身份信息，如QQ號碼、MSN賬號、POP3賬號等，便於身份追查；代理上網IP追蹤：跨路由代理流量檢查是基於最終用户的應用協議檢查，能應對所有的共享機制，如NAT、網卡共享、軟件代理等進行深度檢查，也就是常説的一拖N用户檢測、控制的功能；例如多個用户使用一台PC作為代理服務器上網，或跨越多級路由，此時流量管理系統就能檢查到藏在後端的其他PC終端IP。

天融信TopFlow應用流量管理系統通道流量、各應用協議/協議組的日圖表、周圖表、月圖表；連接統計、節點統計、協議統計、PPS統計；自定義報表功能：用户可針對自己關心的IP/IP組、應用協議/協議組等不同的對象自定義一個報表，將針對多個對象的統計結果集中顯示在一個圖表中，減少日常監控的工作量；統計數據可以指定不同的線形和顏色以絕對值或疊加的方式顯示；報表統計的時間跨度可以是當天、本週和當月。