大數據

本書作為大學公共通識課教材，為文科及理工科學生選修大數據課程編寫，主要面向大數據應用型人才培養。共分為7章，第1章講述大數據技術的發展與社會價值；第2章講述大數據系統的基本結構；第3章至第5章按大數據系統的處理過程分別講述大數據系統輸入、大數據系統處理、大數據系統輸出；第7章至第8章講述大數據分析與數據挖掘、大數據隱私與安全。 書內各章都附有習題、大數據分析案例，以幫助讀者學習理解和實際工程應用。隨書配套有開放的全書教學課件（PowerPoint文件）、教學大綱、教學計劃、以便教師使用。

部分 大數據基礎知識

第1章 大數據時代3

1.1 數據時代3

1.1.1 大數據時代的到來3

1.1.2 數據、信息與知識的演進3

1.1.3 數據6

1.2 大數據8

1.2.1 什麼是大數據8

1.2.2 大數據發展歷史與現狀10

1.2.3 大數據能做和不能做的事11

1.2.4 大數據產業12

1.3 大數據技術基礎12

1.3.1 傳統的大數據處理流程12

1.3.2 大數據核心技術13

1.3.3 大數據技術分類14

1.3.4 大數據分析的方法理論16

1.4 大數據的社會價值17

1.5 大數據的商業應用18

1.5.1 商業大數據的類型和價值挖掘方法18

1.5.2 大數據的十大商業應用場景19

1.5.3 成為“大數據企業”21

1.6 大數據應用案例: 《非誠勿擾》男女嘉賓牽手數據分析21

習題與思考題25

第2章 大數據系統的基本架構27

2.1 大數據系統總體架構27

2.2 大數據技術框架282.3 大數據應用案例: 在“北上廣”打拼是怎樣一種體驗30

習題與思考題35

大數據目錄第二部分大數據理論與技術

第3章 大數據系統輸入39

3.1 大數據採集過程及數據來源39

3.1.1 大數據採集來源39

3.1.2 大數據採集過程40

3.2 大數據採集方法40

3.3 大數據導入/預處理42

3.3.1 大數據導入/預處理的過程42

3.3.2 數據清洗的過程44

3.3.3 數據清洗與數據採集技術46

3.3.4 基於大數據的數據預處理47

3.4 數據集成49

3.4.1 數據集成的概念49

3.4.2 數據集成面臨的問題49

3.5 數據變換49

3.5.1 異構數據分析50

3.5.2 異構數據交換策略51

3.5.3 異構數據交換技術52

3.6 大數據應用案例: 電影《爸爸去哪兒》大賣有前兆嗎54

習題與思考題61

第4章 大數據系統處理63

4.1 大數據處理基礎架構——雲計算63

4.1.1 雲計算系統的體系結構63

4.1.2 雲計算的核心技術64

4.1.3 雲計算的主要服務形式68

4.1.4 大數據平台的作用69

4.2 大數據存儲70

4.2.1 海量數據存儲的需求71

4.2.2 海量數據存儲技術71

4.2.3 雲存儲72

4.2.4 NoSQL非結構化數據庫73

4.2.5 數據倉庫74

4.3 大數據計算模式與處理系統75

4.3.1 數據計算75

4.3.2 聚類算法77

4.3.3 數據集成77

4.3.4 機器學習81

4.3.5 人工智能87

4.3.6 數據處理語言89

4.4 大數據應用案例: 北京人在哪兒上班和睡覺91

習題與思考題93

第5章 大數據系統輸出96

5.1 數據的查詢96

5.1.1 常規數據庫查詢結構化數據96

5.1.2 大數據時代的數據搜索96

5.1.3 數據庫與信息檢索技術的比較98

5.2 網絡數據索引與查詢技術99

5.2.1 搜索引擎技術概述99

5.2.2 Web搜索引擎的工作原理100

5.3 大數據索引和查詢技術103

5.3.1 大數據索引和查詢103

5.3.2 大數據處理索引工具MapReduce103

5.3.3 相似性搜索工具105

5.4 數據展現與交互107

5.4.1 數據可視化108

5.4.2 知識圖譜113

5.5 大數據應用案例: 上海的房子都被誰買走了114

習題與思考題119

第6章 大數據分析與數據挖掘121

6.1 大數據分析及其應用121

6.1.1 數據處理和分析的發展121

6.1.2 大數據分析面對的數據類型123

6.1.3 大數據分析與處理方法124

6.1.4 數據分析的步驟124

6.1.5 大數據分析的應用127

6.2 數據挖掘技術129

6.2.1 數據挖掘的定義129

6.2.2 利用數據挖掘進行數據分析的常用方法131

6.2.3 數據挖掘的功能132

6.2.4 數據挖掘的流程133

6.2.5 數據挖掘的應用134

6.3 商業智能與數據分析135

6.3.1 商業智能技術輔助決策的發展135

6.3.2 商業智能系統架構136

6.3.3 商業智能的技術體系136

6.3.4 商務智能=數據 分析 決策 利益138

6.4 大數據營銷業務模型138

6.4.1 大數據對業務模式的影響138

6.4.2 大數據營銷的定義與特點140

6.4.3 網絡營銷大數據實際操作142

6.4.4 大數據營銷方法145

6.5 基於社會媒體的分析預測技術150

6.5.1 基於空間大數據的社會感知150

6.5.2 基於社會媒體的預測技術153

6.5.3 基於消費意圖挖掘的預測154

6.5.4 基於事件抽取的預測157

6.5.5 基於因果分析的預測157

6.6 大數據應用案例: 用大數據看風水——以星巴克和海底撈的選址為例160

習題與思考題164

第7章 大數據隱私與安全166

7.1 大數據面臨的安全問題166

7.2 大數據安全與隱私保護關鍵技術170

7.2.1 基於大數據的威脅發現技術170

7.2.2 基於大數據的認證技術172

7.2.3 基於大數據的數據真實性分析173

7.2.4 大數據與“安全即服務”173

7.3 大數據安全的防護策略173

7.4 大數據應用案例: 數據解讀城市——北京本地人VS外地人175

習題與思考題183

第三部分 行業案例

第8章 行業案例研究187

8.1 銀行業應用187

8.1.1 大數據時代: 銀行如何玩轉數據挖掘187

8.1.2 中國工商銀行客户關係管理案例189

8.1.3 銀行風險管理192

8.2 保險業應用196

8.2.1 保險業擁抱大數據時代或帶來顛覆性變革196

8.2.2 保險欺詐識別198

8.3 證券期貨應用199

8.3.1 安徽省使用大數據監管證券期貨199

8.3.2 大數據分析挖出基金“老鼠倉”的啓示200

8.4 金融行業應用201

8.4.1 大數據決定互聯網金融未來201

8.4.2 移動大數據在互聯網金融反欺詐領域的應用204

8.5 大數據應用案例: 網民睡眠面面觀206

參考文獻208

西安交通大學 城市學院 教授、副系主任 美國俄亥俄州立大學訪問教授 財政部、陝西省政府、西安市政府特聘顧問專家。近5年在清華大學出版社出版大學本科教材6本（均為普通高等教育規劃教材），科普暢銷書1本。