大數據大家談

本書邀請了14位國內外大數據產學研有影響力的一線專家學者，總結各自的研究與工作專長，以專題的形式發表了各自的研究成果。本書主要包括了大數據綜述、大數據思維、大數據技術與大數據應用四個部分。其中，大數據綜述主要介紹大數據的概念、背景、技術與國內外政策等，讓讀者對大數據有個全景式的瞭解；大數據思維包括大數據的開放式創新與流動的大數據兩方面；大數據技術分別介紹了大數據平台架構、大數據語義分析、情感分析、大數據可視化、多媒體搜索分析等當前的技術熱點；大數據應用主要介紹了新媒體、企業大數據基礎設施、金融行業應用、大數據傳播第四範式、金融大數據等應用。本書適合大數據行業研究者、技術開發工程師與研究人員使用。 ^[1] 

第1章 大數據技術及其相關政策 1

1.1 大數據產生的背景 1

1.2 大數據的概念和特徵 3

1.2.1 大數據的概念 3

1.2.2 大數據的特徵 3

1.3 大數據技術發展趨勢 4

1.3.1 大數據帶來的決策方式的革命 4

1.3.2 大數據面臨的挑戰及其對應的技術概覽 7

1.3.3 大數據架構下的人才需求及產業結構 12

1.4 大數據近期政策及其響應 14

1.5 本章小結 17

參考文獻 18

第2章 大數據的開放式創新 20

2.1 開放數據 21

2.2 基於數據安全流通和定價的數據市場 23

2.3 開放的基礎設施 26

2.4 開放的社會化分析服務 28

2.5 跨越領域界限的開放數據思維 30

2.6 本章小結 31

參考文獻 31

第3章 流動的大數據 33

3.1 總論 33

3.2 三個案例看互聯網 34

3.3 “爽”的體驗與流動性 35

3.4 從個體到關係：笛卡兒兩分法的破滅 38

3.5 本章小結 40

參考文獻 41

第4章 大數據技術架構與發展趨勢 42

4.1 大數據技術概覽 42

4.2 Hadoop生態系統 46

4.3 Spark生態系統 54

4.4 Spark和Hadoop的性能對比 59

4.5 大數據技術前景及未來 62

4.6 本章小結 64

參考文獻 66

第5章 大數據語義分析關鍵技術 68

5.1 引言 68

5.2 國內外研究現狀及發展動態分析 71

5.2.1 語義計算 71

5.2.2 文本表示 72

5.2.3 語義知識本體構建 73

5.2.4 情感分析 74

5.3 技術框架 76

5.3.1 信息客體表示模型 77

5.3.2 跨語言本體概念空間的大數據自動構建 78

5.3.3 知識抽取與大數據關聯分析 79

5.3.4 社會個體的語義表示與羣體發現 79

5.3.5 基於知識本體的語義計算與情感量化分析 80

5.3.6 面向公共安全事件的羣體態勢推演 81

5.4 關鍵科學問題與技術特色 82

5.5 研究方法 84

5.6 技術路線 85

5.6.1 信息客體表示模型 85

5.6.2 跨語言本體概念空間的大數據自動構建 86

5.6.3 知識抽取與大數據關聯分析 87

5.6.4 社會個體的語義表示與羣體發現 89

5.6.5 基於知識本體的語義計算與情感量化分析 90

5.6.6 面向公共安全事件的羣體態勢推演 91

5.7 基於知識本體大數據語義分析技術的應用實踐 93

5.7.1 NLPIR大數據搜索與挖掘共享平台 93

5.7.2 JZSearch語義精準搜索引擎 101

參考文獻 108

第6章 社會網絡大數據的情感分析與情緒感知技術 112

6.1 概述 112

6.2 國內外相關研究進展 115

6.3 基於微博熱點話題的情感分析及其應用 116

6.4 基於多維度分析的羣體情感摘要抽取及其應用 122

6.5 基於統計學習的情緒分類及其時序變化分析應用 125

6.6 未來研究方向 129

6.7 本章小結 130

參考文獻 130

第7章 大數據時代的數據挖掘與可視化傳播 133

7.1 大數據時代來臨 133

7.2 大數據的基本特徵 134

7.3 大數據挖掘與應用 136

7.4 大數據與小數據 139

7.5 數據挖掘的基本原理與方法 140

7.6 大數據時代的數據可視化技術 145

7.7 大數據挖掘和數據可視化工具 148

第8章 大規模社會多媒體數據搜索與處理 156

8.1 社會多媒體簡介 156

8.1.1 社會多媒體的發展 156

8.1.2 社會多媒體的特點和挑戰 158

8.2 大規模社會多媒體數據的搜索 160

8.3 社會多媒體搜索模式 161

8.3.1 基於開放API的搜索 161

8.3.2 基於頁面的搜索 161

8.3.3 基於語義模式的搜索 162

8.4 社會多媒體的在線實時搜索架構 165

8.4.1 在線分佈式實時搜索 166

8.4.2 反封堵管理模塊 167

8.5 大規模社會多媒體的基本處理技術 168

8.5.1 社會多媒體存儲計算 169

8.5.2 社會多媒體數據的特徵學習 172

8.6 大規模社會多媒體數據的挖掘與應用 176

8.6.1 以用户為中心的社會多媒體建模 178

8.6.2 以內容為中心的社會多媒體建模 180

8.6.3 基於用户和內容的關聯挖掘 183

8.7 本章小結 186

參考文獻 186

第9章 第四範式下的大數據分析 模型構建 189

9.1 第四範式的提出 189

9.2 第四範式真的不需要理論嗎 190

9.2.1 總體問題 190

9.2.2 因果關係問題 191

9.2.3 效度低 191

9.3 如何用理論模型來架構網絡數據 191

9.4 傳播學理論的應用 198

9.5 簡單的效果分析模型——品牌明星代言調查 201

9.6 本章小結 203

第10章 大數據視角下的新媒體指數 205

10.1 新媒體指數簡介 205

10.2 大數據視角下的新媒體指數 205

10.2.1 從信息源看新媒體指數 205

10.2.2 從信息分析方法看新媒體指數 207

10.2.3 從數據應用場景看新媒體指數 209

10.3 本章小結 210

第11章 企業級數據倉庫向大數據基礎設施轉型中的若干問題 212

11.1 擴容與換代疊加 213

11.2 遷移與新需求交織 213

11.3 設備輕型化、平台開源化與團隊重構同步 214

11.4 “互聯網+”與非結構化數據爆炸 214

第12章 金融行業大數據綜述 216

12.1 金融行業大數據相關政策 216

12.1.1 中央政府的相關政策 216

12.1.2 地方政府的相關政策 217

12.2 金融大數據的定義與概述 217

12.3 金融大數據的市場分析 219

12.4 金融大數據支撐的業務 220

12.4.1 第三方支付 220

12.4.2 P2P業務 222

12.4.3 互聯網徵信 223

12.4.4 眾籌 225

12.4.5 互聯網銀行 225

12.5 主要互聯網金融公司介紹 227

12.5.1 阿里巴巴 227

12.5.2 騰訊 228

12.5.3 百度 228

12.5.4 大象金服 230

第13章 金融行業大數據應用 235

13.1 導言 235

13.2 大數據技術在金融行業的實際應用 235

13.2.1 第一類應用：個體公司內部數據的動員 236

13.2.2 第二類應用：行業數據平台 238

13.2.3 第三類應用：行業外部數據在金融行業的應用 240

13.2.4 金融行業數據從關係型數據庫向大數據技術平台的遷移 242

13.3 金融行業的應用對大數據技術提出嚴格的要求 243

13.4 本章小結 249

第14章 智慧旅遊大數據應用 251

14.1 導言 251

14.2 旅遊輿情分析 252

14.2.1 中國旅遊目的地網絡輿情指數 252

14.2.2 輿情分析方法 253

14.2.3 輿情熱點分析 255

14.3 基於大數據的遊客行為分析 256

14.3.1 旅遊大數據預測 257

14.3.2 電商OTA數據分析 259

14.3.3 交通數據分析 259

14.4 基於運營商的LBS數據的遊客軌跡分析及用户畫像 260

14.4.1 遊客畫像監測 260

14.4.2 遊客軌跡分析 262

14.5 本章小結 263