大數據分析

這是一個大數據爆發的時代。面對信息的激流，多元化數據的湧現，大數據已經為個人生活、企業經營，甚至國家與社會的發展都帶來了機遇和挑戰，大數據已經成為IT信息產業中最具潛力的藍海。 ^[1] 

第1章大數據基礎1

1.1什麼是大數據4

1.1.1天文學——信息爆炸的起源5

1.1.2信息爆炸的社會5

1.1.3大數據的發展7

1.1.4大數據作為BI的進化形式8

1.2大數據的定義9

1.2.1定義大數據9

1.2.2大數據的3V特徵10

1.2.3廣義的大數據12

1.3大數據的結構類型12

1.4大數據應用改變生活13

1.4.1在線娛樂14

1.4.2在線廣告14

1.4.3銷售和營銷14

1.4.4數據可視化15

1.4.5運營智能15

1.5大數據準備度自我評分表16

作業19第2章大數據分析基礎22

2.1大數據的影響25

2.2數據具有內在預測性27

2.3大數據分析的定義27

2.44種數據分析方法28

2.4.1描述性分析29

2.4.2診斷性分析30

2.4.3預測性分析30

2.4.4規範性分析32

2.4.5關鍵績效指標33

2.5定性分析與定量分析33

2.6大數據分析的行業作用33

2.6.1大數據分析的作用33

2.6.2大數據分析的關鍵應用35

2.6.3大數據分析的能力分析36

2.6.4大數據分析面臨的問題36

作業38第3章大數據分析生命週期40

3.1大數據分析生命週期概述43

3.2商業案例評估44

3.3數據標識44

3.4數據獲取與過濾44

3.5數據提取45

3.6數據驗證與清理46

3.7數據聚合與表示47

3.8數據分析48

3.9數據可視化48

3.10分析結果的使用49

作業50第4章大數據分析基本原則52

4.1大數據的現代分析原則54

4.2原則1： 實現商業價值和影響56

4.3原則2： 專注於最後一千米56

4.4原則3： 持續改善57

4.5原則4： 加速學習能力和執行力58

4.6原則5： 差異化分析58

4.7原則6： 嵌入分析59

4.8原則7： 建立現代分析架構59

4.9原則8： 構建人力因素60

4.10原則9： 利用消費化趨勢60

作業61第5章構建分析路線63

5.1什麼是分析路線66

5.1.1商業競爭3.0時代66

5.1.2創建獨特的分析路線67

5.2第1步： 確定關鍵業務目標69

5.3第2步： 定義價值鏈69

5.4第3步： 頭腦風暴分析解決方案機會71

5.4.1應用描述71

5.4.2分析手段71

5.5第4步： 描述分析解決方案機會74

5.6第5步： 創建決策模型74

5.7第6步： 評估分析解決方案機會75

5.8第7步： 建立分析路線圖77

5.9第8步： 不斷演進分析路線圖77

作業77第6章大數據分析的運用79

6.1企業分析的分類81

6.2戰略分析82

6.2.1專案分析83

6.2.2戰略市場細分84

6.2.3經濟預測84

6.2.4業務模擬84

6.3管理分析85

6.4運營分析86

6.5科學分析88

6.6面向客户的分析89

6.6.1預測服務89

6.6.2分析應用89

6.6.3消費分析90

6.6.4案例： 大數據促進商業決策91

作業94第7章大數據分析的用例96

7.1什麼是用例100

7.2預測用例101

7.3解釋用例104

7.4預報用例104

7.5發現用例106

7.6模擬用例106

7.7優化用例107

作業107第8章預測分析方法109

8.1預測分析方法論111

8.2定義業務需求113

8.2.1理解業務問題113

8.2.2定義應對措施113

8.2.3瞭解誤差成本115

8.2.4確定預測窗口116

8.2.5評估部署環境116

8.3建立分析數據集117

8.3.1配置數據117

8.3.2評估數據117

8.3.3調查異常值118

8.3.4轉換數據119

8.3.5執行基本表操作119

8.3.6處理丟失數據120

8.4降維與特徵工程120

8.4.1降維120

8.4.2特徵工程120

8.4.3特徵變換123

8.5建立預測模型123

8.5.1制訂建模計劃123

8.5.2細分數據集124

8.5.3執行模型訓練計劃125

8.5.4測量模型效果125

8.5.5驗證模型126

8.6部署預測模型126

8.6.1審查和批准預測模型127

8.6.2執行模型評分127

8.6.3評價模型效果128

8.6.4管理模型資產128

8.7預測分析軟件系統129

作業129第9章預測分析技術132

9.1關於預測分析技術136

9.2統計分析136

9.3生存分析137

9.4有監督和無監督學習138

9.4.1有監督學習138

9.4.2無監督學習140

9.4.3有監督和無監督學習的區別141

9.5機器學習141

9.5.1機器學習的思路141

9.5.2異常檢測142

9.5.3過濾144

9.5.4貝葉斯網絡145

9.5.5文本挖掘146

9.6神經網絡147

9.7深度學習149

9.8語義分析151

9.8.1自然語言處理152

9.8.2文本分析152

9.8.3文本處理153

9.8.4語義檢索154

9.8.5A/B測試154

9.9視覺分析155

9.9.1熱點圖156

9.9.2空間數據圖156 ^[2]