大數據治理

桑尼爾·索雷斯的《大數據治理》是一個信息治理專家奉獻的鴻篇鉅製，作者以極其實用和通俗易懂的風格，傾心向讀者解讀大數據治理這一複雜主題

作為一家大公司的資深IT專家，我本人在面對數據窘境時，感覺不知所措。對數據領域的從業人員來説，面臨的問題多過答案。我所在的組織是南非的主導電信運營商，我們擁有海量的電話詳單、位置數據和社交媒體生成的數據。要明智地使用數據，就必須管理所有數據。

本書匠心獨運，揭開了大數據的迷人景緻，為我們應對大數據領域的挑戰，提供了必要的智力成果。

大數據將打開各行各業的數據“潘多拉魔盒”。社交網站、電商巨頭、電信運營商乃至金融、醫療、教育等行業，都將加入大數據的“淘金”熱潮，政府部門同樣會從大數據中獲益匪淺。如何將海量數據應用於決策、營銷和產品創新？如何利用大數據平台優化產品、流程和服務？如何利用大數據更科學地制定公共政策、實現社會治理？所有這一切，都離不開大數據治理。可以説，在大數據戰略從頂層設計到底層實現的“落地”過程中，治理是基礎，技術是承載，分析是手段，應用是目的。桑尼爾·索雷斯的《大數據治理》的翻譯出版，正當其時。 《大數據治理》一書較好地滿足了理解大數據治理框架的需要，系統地闡述了大數據治理的各個版塊，分析了五大類大數據的治理，考察了大數據治理在典型行業的實踐，並深入淺出地介紹了當今主流的大數據技術與平台。該書具有一定的可參照性、可操作性和可讀性，是大數據治理領域值得一讀的參考書。

第一部分 開篇

第1章 大數據治理概述

第2章 大數據治理的框架

2.1 大數據類型

2.2 信息治理準則

2.3 大數據治理的產業和功能場景

第3章 成熟度評估

3.1 IBM信息治理委員會的成熟度模型

3.2 評估成熟度的示例問題

第4章 業務案例

4.1 通過大數據治理，提高運營實時性和旅客安全度

4.2 量化大數據治理對客户隱私的財務影響

4.3 通過治理大數據生命週期，降低IT成本

4.4 評估數據質量和主數據對大數據計劃的影響

4.5 計算大數據質量的價值

第5章 路線圖

5.1 路線圖案例研究

第二部分 大數據治理準則

第6章 大數據治理的組織

6.1 繪製關鍵流程圖並建立職責分配模型，以識別大數據治理中的利益攸關者

6.2 確定新角色和既有角色的適當組合

6.3 酌情任命大數據主管

6.4 在傳統信息治理角色的基礎上，酌情增加大數據責任

6.5 建立承擔包括大數據在內的責任混合式信息治理組織

第7章 元數據

7.1 創建一個體現關鍵大數據術語的業務定義的詞庫

7.2 理解對ApacheHadoop中元數據的持續支持

7.3 對業務詞庫中的敏感大數據進行標記

7.4 從相關的大數據存儲中輸入技術元數據

7.5 將相關的數據源與業務詞庫中的術語進行鏈接

7.6 使用運營元數據監測大數據的流動

7.7 保留技術元數據，以支持數據血統和影響分析

7.8 從非結構化文件中採集元數據，支持企業搜索

7.9 擴展既有的元數據角色，將大數據納入其中

第8章 大數據隱私

8.1 識別敏感的大數據

8.2 對元數據庫中的敏感大數據進行標記

8.3 應對國家、州（省）層面的隱私立法和隱私限制

8.4 管理個人數據跨國界流動的情況

8.5 監控特權用户對敏感大數據的訪問

第9章 大數據質量

9.1 與商業上的利益攸關者協作，建立並測度大數據質量的置信區間

9.2 利用準結構化和非結構化數據，提高人口稀疏的結構化數據的質量

9.3 使用流數據分析技術解決內存中的數據質量問題，無須將中間結果輸入硬盤

9.4 任命對信息治理委員會負責的數據主管，由其負責提高測度的質量

第10章 業務流程整合

10.1 識別將會受到大數據治理影響的關鍵流程

10.2 建立關鍵活動的流程圖

10.3 針對業務流程中的關鍵步驟，制定大數據治理政策

第11章 主數據整合

11.1 提高主數據的質量，以支持大數據分析

11.2 利用大數據提高主數據的質量

11.3 提高關鍵參考數據的質量和一致性，以支持大數據治理計劃

11.4 審視社交媒體平台政策，以確定與主數據管理整合的程度

11.5 從非結構化文本中挖掘有用信息，以豐富主數據

第12章 管理大數據的生命週期

12.1 基於規制和業務要求，擴展保留時間表，將大數據包含其中

12.2 提供法律保留區，並支持電子證據展示（eDiscovery）

12.3 壓縮大數據並將其存檔，降低IT成本，提高應用績效

12.4 管理實時流數據的生命週期

12.5 保留社交媒體記錄，以符合規制要求，並支持電子證據展示

12.6 基於規制和業務要求，正當合理地處置不再需要的大數據

第三部分 大數據的類型

第13章 Web和社交媒體數據

13.1 在制定有關客户社交媒體數據的可接受使用的政策時，考慮不斷變化的規制和習俗

13.2 制定有關僱員和求職者社交媒體數據的可接受使用的政策

13.3 利用置信區間評估社交媒體數據的質量

13.4 制定有關Cookies與其他Web跟蹤裝置的可接受使用的政策

13.5 在不侵犯隱私並遵從規制要求的基礎上，定義連接在線和離線數據的政策

13.6 確保網絡統計數據的一致性

第14章 機器對機器的數據

14.1 評估目前可用的地理位置數據

14.2 制定關於客户地理位置數據的可接受使用的政策

14.3 制定關於僱員地理位置數據的可接受使用的政策

14.4 保證RFID數據的隱私安全

14.5 制定與其他類型M2M數據的隱私相關的政策

14.6 處理元數據和M2M數據的質量問題

14.7 制定與M2M數據的保留期有關的政策

14.8 提高主數據的質量，以支持M2M計劃

14.9 確保SCADA設施免遭網絡攻擊

第15章 大體量交易數據

第16章 生物計量學數據

16.1 評估與生物計量學數據的可接受使用相關的隱私含義

16.2 與法律顧問通力合作，確定演進中的規制對使用客户和僱員生物計量學數據的影響

第17章 人工生成的數據

17.1 制定屏蔽敏感的人工生成數據的政策

17.2 使用非結構化的人工生成數據，提高結構化數據的質量

17.3 管理人工生成數據的生命週期，降低成本並遵循規制要求

17.4 從非結構化的人工生成數據中獲得洞察力，以豐富MDM

第四部分 行業視角

第18章 醫療保健機構

18.1 利用非結構化數據，提高人口稀疏的結構化數據的質量

18.2 提取從結構化數據中無法獲得的更多臨牀因素

18.3 設定關鍵業務術語的一致性定義

18.4 確保跨科室的患者主數據的一致性

18.5 與美國HIPAA的規定一致，符合受保護的健康信息的隱私要求

18.6 創造性管理參考數據，以獲得更多臨牀洞察

第19章 公用事業部門

19.1 複製儀表讀數

19.2 主關鍵字的參照完整性

19.3 異常的儀表讀數

19.4 客户地址的數據質量

19.5 信息生命週期管理

19.6 數據庫監測

19.7 技術架構

第20章 通信服務提供商

20.1 大數據類型

20.2 將大數據與主數據進行整合

20.3 大數據隱私

20.4 大數據質量

20.5 大數據生命週期管理

第五部分 大數據技術

第21章 大數據的參考架構

21.1 大數據源

21.2 開源基礎組件

21.3 Hadoop發行版

21.4 流數據分析

21.5 數據庫

21.6 大數據整合

21.7 文本分析

21.8 大數據發現

21.9 大數據質量

21.10 大數據的元數據

21.11 信息政策管理

21.12 主數據管理

21.13 數據倉庫與數據集市

21.14 大數據分析與報告

21.15 大數據安全與隱私

21.16 大數據生命週期管理

21.17 雲

第22章 大數據平台

22.1 IBM

22.2 甲骨文

22.3 SAP

22.4 微軟

22.5 HP

22.6 Informatica

22.7 SAS

22.8 Teradata

22.9 EMC

22.10 Amazon

22.11 谷歌

22.12 Pentaho

22.13 Talend

附錄 縮略語列表

譯者後記

作者:(美)桑尼爾·索雷斯 譯者:匡斌

桑尼爾·索雷斯是信息資產公司LLC的創始人和執行合夥人，LLC專注於幫助組織構建信息治理計劃。曾任IBM的信息治理總監，合作客户遍佈六大洲和眾多行業。

除本書外，桑尼爾著有《IBM數據治理統一流程》、《説服企業實施信息治理：行業和工作職能最佳實踐》兩書，前者被許多組織用作信息治理計劃的藍本，並被譯成中文。匡斌，中國聯通研究院信息室/編輯部副主任、博士，具有16年電信行業從業經驗。專注於電信營銷、電信規制、電信運營業新業態等領域的研究。

個人著譯：《電信營銷：理論精要》(編著)、《電信營銷：案例精選》(編著)、《競爭與混沌：1996年電信法出台以來的美國電信業》(譯)。

大數據涉及不同來源的複雜數據。倘若缺乏得當的數據治理，那就很難正確地整合數據。《大數據治理》一書為您提供了制訂大數據治理計劃所必需的信息和見識，而大數據治理計劃是支持大數據整合項目不可或缺的。好樣的，桑尼爾！

Symphony IRI Group技術研究副總裁 傑·猶斯科 博士

本書是一個信息治理專家奉獻的鴻篇鉅製，作者以極其實用和通俗易懂的風格，傾心向讀者解讀大數據治理這一複雜主題。

作為一家大公司的資深IT專家，我本人在面對數據窘境時，感覺不知所措。對數據領域的從業人員來説，面臨的問題多過答案。我所在的組織是南非的主導電信運營商，我們擁有海量的電話詳單、位置數據和社交媒體生成的數據。要明智地使用數據，就必須管理所有數據。

本書匠心獨運，揭開了大數據的迷人景緻，為我們應對大數據領域的挑戰，提供了必要的智力成果。

本書的字裏行間，流淌着豐富的信息。如今，我終於有機會將本書所述的理念和知識融會貫通。我更有信心應對公司面臨的大數據挑戰，對此，我滿懷熱忱，決心已定。

拜桑尼爾在本書中提供的指南所賜，我們所有數據從業人員都將獲得成功！

南非電信數據治理辦公室主任 柯馬林·伽迪

可以説，在大數據戰略從頂層設計到底層實現的“落地”過程中，治理是基礎，技術是承栽，分析是手段，應用是目的。《大數據治理》一書的翻譯出版，正當其時。

相信在可預見的將來，經過循序漸進的治理，大數據將成為重要的國家資源和企業的核心生產要素。大數據將給中國的政府、企業和其它組織，帶來切切實實的收益。

工業和信息化部軟件服務業司司長 陳偉 教授

大數據的淘金之旅，需要腳踏實地的努力。大數據治理是連接大數據科學和應用的橋樑，若要到達風光無限的大數據彼岸，大數據治理一定是“必修課”之一。

大數據的思想啓蒙運動正在開始，從大數據治理起步，不斷探索這個領域的產權、法律和交易等問題，才能成為進入大數據世界的先行者。

寬帶資本董事長 田溯寧 博士

2013年，IBM在全球進行了5次有關大數據的調研，發現：超過2/3的企業正在使用大數據分析來支持企業創收策略；近40%的企業在採納大數據分析後的6個月內，就看到了快速的投資回報(ROI)。

大數據治理是大數據分析的基礎。本書梳理了大數據治理的各個方面，分享了全球很多經典案例，對於企業充分利用大數據幫助創造新的市場機會，有很大借鑑意義。

IBM全球副總裁兼IBM軟件集團大中華區總經理 胡世忠