數據整理分析

數據整理分析一般分為兩個步驟，數據整理和數據分析。數據整理是數據分析的基礎，好的數據整理可能會為數據分析結果帶來不少好處。數據分析是數據整理的目的，數據整理之後，只有用到，才能體現數據整理的意義。數據整理分析最主要目的是從數據中得到有價值的信息。

數據整理是數據分析過程中最重要的環節，在大數據分析過程中也是如此。在小數據時代，數據整理包括數據的清洗、數據轉換、歸類編碼和數字編碼等過程，其中數據清洗佔據最重要的位置，就是檢查數據一致性，處理無效值和缺失值等操作。在大數據時代，這些工作被弱化了，在有些大數據的算法和應用中，基本不再進行數據清洗了，因為大數據的多樣化使得其數據，有一定的不精確性，但數據轉換和編碼過程還是需要的。

從商業角度來看，從前未知的統計分析模式或趨勢的發現為企業提供了非常有價值的洞察力。數據整理技術能夠為企業對未來的發展具有一定的預見性。而OLTP僅僅能夠實現對過去的數據進行分析。數據整理技術可以分成3類：羣集、分類和預測。

羣集技術就是在無序的方式下集中信息。羣集的一個例子就是對未知特點的羣體商業客户的分析，對這一例子輸入相關信息就可以很好的定義客户的特點。

分類技術就是集中和指定object以預先確定事先定義好值的集合。集合通常用上面的技術來形成，可以舉一個例子就是把客户按照他們的收入水平分成特定的銷售羣體。

預測技術就是對某些特定的對象和目錄輸入已知值，並且把這些值應用到另一個類似集合中以確定期望值或結果。比如，一組戴頭盔和肩章的人是足球隊的，那麼我們也認為另一組帶頭盔和肩章的人也是足球隊的。下面的這幾條是現在常用的數據整理技術，每種技術都存在集中變異，而且可以應用到上面幾種技術中。

回退模型――這一技術把標準統計技術應用到數據中來證明或推翻事先的假設。一個例子就是線性回退，這種情況下變量是根據一定時間內標準或變化路徑來衡量。另一個例子是邏輯回退，這種情況下是根據以前相似事件發生的已知值來確定事件發生的可能性。

可視化――這一技術是建立多維圖形，讓數據分析人員確定數據的變化趨勢、模式以及相互關係。

相關性――這一技術用來確定數據集合內兩個或多個變量間的相互關係。

變化分析――這一統計技術是用來確定目標或已知變量與非獨立變量或可變數據集合間平均值的差異。

差異分析――這一分類技術用於確定或“區別”集合中的關係要素。

預測――預測技術是根據過去事件的已知值來確定未知結果

羣集技術――羣集技術是把數據分成很多組，並分析這些組的特性。

決策樹――決策樹是採用能用“if-then-else”語言表示的規則來分配數據。

神經網絡――神經網絡是用來模擬已知函數的數據模型，這一技術通過對數據進行迭代，同時在確定變化模式和趨勢上有更大的靈活性。

數據分析的目的是把隱沒在一大批看來雜亂無章的數據中的信息集中、萃取和提煉出來，以找出所研究對象的內在規律。大數據時代，大數據大數據具有數據量大、 數據結構複雜、 數據產生速度快、 數據價值密度低等特點， 這些特點增加了對大數據進行有效分析的難度， 大數據分析成為當前探索大數據發展的核心內容， 因此， 必須對大數據分析的內涵和外延進行深入剖析 ^[1]  。

大數據分析是在數據密集型環境下， 對數據科學的重新思考和進行新的模式探索的產物。嚴格來説， 大數據更像是一種策略而非技術， 其核心理念就是以一種比以往有效得多的方式來管理海量數據並從中提取價值。大數據分析(BigData Analytics， BDA)是大數據理念與方法的核心， 是指對海量類型多樣、 增長快速、 內容真實的數據(即大數據)進行分析， 從中找出可以幫助決策的隱藏模式、未知的相關關係以及其他有用信息的過程。有兩大技術問題非常關鍵:一個是文本的分析學， 另一個就是機器學習。因此， 大數據分析是根據數據生成機制， 對數據進行廣泛的採集與存儲， 並對數據進行格式化清洗， 以大數據分析模型為依據， 在集成化大數據分析平台的支撐下， 運用雲計算技術調度計算分析資源， 最終挖掘出大數據背後的模式或規律的數據分析過程。大數據分析是伴隨着數據科學的快速發展和數據密集型範式的出現而產生的一種全新的分析思維和技術， 大數據分析與情報分析、雲計算技術等內容存在密切的關聯關係。

典型的數據分析可能包含以下三個步：

1、探索性數據分析：當數據剛取得時，可能雜亂無章，看不出規律，通過作圖、造表、用各種形式的方程擬合，計算某些特徵量等手段探索規律性的可能形式，即往什麼方向和用何種方式去尋找和揭示隱含在數據中的規律性。

2、模型選定分析，在探索性分析的基礎上提出一類或幾類可能的模型，然後通過進一步的分析從中挑選一定的模型。

3、推斷分析：通常使用數理統計方法對所定模型或估計的可靠程度和精確程度作出推斷。

大數據分析方法是大數據分析中最重要的研究內容之一， 分析方法的優劣將決定分析結果的有效與否， 將最終影響大數據分析成果的應用。不同類型的大數據需要不同的分析處理方法。複雜數據上的實體識別與傳統文本和關係數據上的實體識別不同， 給數據分析帶來了新的技術挑戰。

將實驗數據按一定規律用列表方式表達出來是記錄和處理實驗數據最常用的方法。表格的設計要求對應關係清楚、簡單明瞭、有利於發現相關量之間的物理關係；此外還要求在標題欄中註明物理量名稱、符號、數量級和單位等；根據需要還可以列出除原始數據以外的計算欄目和統計欄目等。最後還要求寫明表格名稱、主要測量儀器的型號、量程和準確度等級、有關環境條件參數如温度、濕度等。

作圖法可以最醒目地表達物理量間的變化關係。從圖線上還可以簡便求出實驗需要的某些結果（如直線的斜率和截距值等），讀出沒有進行觀測的對應點（內插法）或在一定條件下從圖線的延伸部分讀到測量範圍以外的對應點（外推法）。此外，還可以把某些複雜的函數關係，通過一定的變換用直線圖表示出來。例如半導體熱敏電阻的電阻與温度關係為，取對數後得到，若用半對數座標紙，以lgR為縱軸，以1/T為橫軸畫圖，則為一條直線。

描述性分析方法(descriptive analytics)， 是使用者分析歷史數據、資產數據或電網數據進行模式識別，並分析、解釋和還原系統或設備過去的狀態或場景。

預測性分析方法(predictive analytics)，提供前瞻性的分析，讓使用者可以參與投資、資產維護或電網運行規劃；

規範性分析方法(prescriptive analytics)，為使用者提供關於最優運行策略、電網配置和在既定約束下線路路徑選擇的優化方案推薦。