複製鏈接
請複製以下鏈接發送給好友

數據標準化

鎖定
數據標準化是 企業或組織對數據的定義、組織、監督和保護進行標準化的過程。數據標準化分為開發(D)、候選(C)、批准(A)駁回(R)、歸檔(X)幾個過程。
數據標準化的分類有Min-max 標準化和z-score 標準化。
中文名
數據標準化
外文名
normalization
別    名
統計數據的指數化
過    程
D、C、A、R、X
方    法
常用3種
釋    義
企業對數據進行標準化的過程

目錄

數據標準化簡介

評價是現代社會各領域的一項經常性的工作,是科學做出管理決策的重要依據。隨着人們研究領域的不斷擴大,所面臨的評價對象日趨複雜,如果僅依據單一指標對事物進行評價往往不盡合理,必須全面地從整體的角度考慮問題,多指標綜合評價方法應運而生。所謂多指標綜合評價方法,就是把描述評價對象不同方面的多個指標的信息綜合起來,並得到一個綜合指標,由此對評價對象做一個整體上的評判,並進行橫向或縱向比較
數據標準化 數據標準化
而在多指標評價體系中,由於各評價指標的性質不同,通常具有不同的量綱數量級。當各指標間的水平相差很大時,如果直接用原始指標值進行分析,就會突出數值較高的指標在綜合分析中的作用,相對削弱數值水平較低指標的作用。因此,為了保證結果的可靠性,需要對原始指標數據進行標準化處理。數據標準化方法有多種,歸結起來可以分為直線型方法(如極值法、標準差法)、折線型方法(如三折線法)、曲線型方法(如半正態性分佈)。不同的標準化方法,對系統的評價結果會產生不同的影響,然而不幸的是,在數據標準化方法的選擇上,還沒有通用的法則可以遵循。

數據標準化方法

數據分析之前,我們通常需要先將數據標準化(normalization),利用標準化後的數據進行數據分析。數據標準化也就是統計數據的指數化。數據標準化處理主要包括數據同趨化處理和無量綱化處理兩個方面。數據同趨化處理主要解決不同性質數據問題,對不同性質指標直接加總不能正確反映不同作用力的綜合結果,須先考慮改變逆指標數據性質,使所有指標對測評方案的作用力同趨化,再加總才能得出正確結果。數據無量綱化處理主要解決數據的可比性。數據標準化的方法有很多種,常用的有“最小—最大標準化”、“Z-score標準化”和“按小數定標標準化”等。經過上述標準化處理,原始數據均轉換為無量綱化指標測評值,即各指標值都處於同一個數量級別上,可以進行綜合測評分析。
一、Min-max 標準化
min-max標準化方法是對原始數據進行線性變換。設minA和maxA分別為屬性A的最小值最大值,將A的一個原始值x通過min-max標準化映射成在區間[0,1]中的值x',其公式為:
新數據=(原數據-最小值)/(最大值-最小值)
二、z-score 標準化
這種方法基於原始數據的均值(mean)和標準差(standard deviation)進行數據的標準化。將A的原始值x使用z-score標準化到x'。
z-score標準化方法適用於屬性A的最大值和最小值未知的情況,或有超出取值範圍的離羣數據的情況。
新數據=(原數據-均值)/標準差
spss默認的標準化方法就是z-score標準化。
Excel進行z-score標準化的方法:在Excel中沒有現成的函數,需要自己分步計算,其實標準化的公式很簡單。
步驟如下:
1.求出各變量(指標)的算術平均值數學期望)xi和標準差si ;
2.進行標準化處理:
zij=(xij-xi)/si
其中:zij為標準化後的變量值;xij為實際變量值。
3.將逆指標前的正負號對調。
標準化後的變量值圍繞0上下波動,大於0説明高於平均水平,小於0説明低於平均水平。
三、Decimal scaling小數定標標準化
這種方法通過移動數據的小數點位置來進行標準化。小數點移動多少位取決於屬性A的取值中的最大絕對值。將屬性A的原始值x使用decimal scaling標準化到x'的計算方法是:
x'=x/(10^j)
其中,j是滿足條件的最小整數。
例如 假定A的值由-986到917,A的最大絕對值為986,為使用小數定標標準化,我們用每個值除以1000(即,j=3),這樣,-986被規範化為-0.986。
注意,標準化會對原始數據做出改變,因此需要保存所使用的標準化方法的參數,以便對後續的數據進行統一的標準化。
除了上面提到的數據標準化外還有對數Logistic模式、模糊量化模式等等:
對數Logistic模式:新數據=1/(1+e^(-原數據))
模糊量化模式:新數據=1/2+1/2sin[派3.1415/(極大值-極小值)*(X-(極大值-極小值)/2) ] X為原數據