-
大數據背後的核心技術
鎖定
《大數據背後的核心技術》是2017年電子工業出版社出版的圖書，作者是張桂剛、李超、邢春曉。
[1]
- 中文名
- 大數據背後的核心技術
- 作 者
-
張桂剛
李超
邢春曉 - 出版社
- 電子工業出版社
大數據背後的核心技術內容簡介
本書分為三大部分，分別為大數據基礎理論分析、基於海量語意規則的大數據流處理技術及大數據應用。 第一部分介紹大數據領域的主要基礎理論，包括大數據基本概念、可編程數據中心、雲文件系統、雲數據庫系統、大數據並行編程與分析模型、大數據智能計算算法、基於大數據的數據倉庫技術、大數據安全與隱私保護，以及基於大數據的語意軟件工程方法等。 第二部分介紹基於海量語意規則的大數據流處理技術，包括基於規則的大數據流處理介紹、語意規則描述模型、海量語意規則網及優化、海量語意規則處理算法及海量語意規則並行處理等。 第三部分主要介紹大數據的一些典型應用，包括：文化大數據、醫療健康大數據、互聯網金融大數據、教育大數據、電子商務大數據、互聯網大數據、能源大數據、交通大數據、宏觀經濟大數據、進出口食品安全監管大數據、基於大數據的語意計算及典型應用（含語意搜索引擎、語意金融、語意旅遊規劃、基於海量語意規則的語意電子商務）。最後探討了大數據未來的研究方向。
[1]
大數據背後的核心技術圖書目錄
第一部分 大數據基礎理論分析 （1）
第1章 大數據基本概念 （2）
1.1 大數據定義 （2）
1.2 大數據度量 （3）
1.2.1 大數據能耗度量 （3）
1.2.2 大數據計算能力度量 （4）
1.2.3 大數據的數據中心服務能力度量 （4）
1.2.4 大數據商業與社會價值度量 （4）
1.2.5 大數據冷熱度度量 （5）
1.3 語意計算的發展過程 （5）
1.3.1 語義計算（Semantic Computing） （5）
1.3.2 語意計算（Semantic+ Computing） （5）
1.3.3 語意計算（Semantic++ Computing） （6）
1.3.4 語意計算和大數據 （7）
1.4 大數據的語意理解 （8）
1.4.1 大數據資源語意存儲 （9）
1.4.2 大數據資源語意信息獲取 （9）
1.4.3 語意資源管理 （9）
1.4.4 大數據語意處理 （10）
1.4.5 大數據語意服務（語意分析/語意合成等） （10）
1.4.6 大數據語意安全與隱私 （10）
1.4.7 語意接口 （10）
1.4.8 基於語意的大數據應用 （10）
1.5 大數據和雲計算 （11）
1.5.1 雲計算 （11）
本章小結 （12）
第2章 可編程數據中心 （13）
2.1 可編程數據中心體系架構 （13）
2.2 數據分配管理 （14）
2.2.1 數據分配管理原理 （14）
2.2.2 數據分配管理案例 （17）
2.3 異構數據節點分配管理 （19）
2.3.1 異構數據節點分配管理方法 （20）
2.3.2 異構數據節點服務能力計算方法 （22）
2.4 規則管理 （23）
2.4.1 規則 （23）
2.4.2 語意規則 （24）
2.4.3 海量語意規則管理架構 （24）
2.5 數據放置策略 （25）
2.5.1 谷歌的數據放置策略 （25）
2.5.2 Hadoop的數據放置策略 （26）
2.5.3 其他常用的數據放置策略 （26）
2.5.4 語意數據放置策略 （26）
2.6 可編程數據中心機房架構 （30）
本章小結 （30）
第3章 雲文件系統 （32）
3.1 常用雲文件系統綜述 （32）
3.2 語意雲文件系統SCFS （34）
3.2.1 SCFS系統架構 （34）
3.2.2 SCFS大小文件處理機制 （36）
3.2.3 數據一致性保障 （40）
3.2.4 元數據集羣管理技術 （40）
3.2.5 副本管理策略（負載均衡機制） （41）
本章小結 （44）
第4章 雲數據庫系統 （45）
4.1 常用雲數據庫系統綜述 （45）
4.2 語意雲數據庫系統SCloudDB （47）
4.2.1 SCloudDB系統架構 （47）
4.2.2 SCloudDB設計思路 （48）
4.2.3 SCloudDB的SRegion定位機制 （50）
4.2.4 多維及海量隨機查詢機制 （51）
4.2.5 支持多維及海量隨機查詢的語意搜索機制 （52）
4.2.6 大表劃分方法 （54）
4.2.7 基於列族存儲及語意的大表劃分機制 （56）
4.2.8 分佈式同步關鍵技術 （57）
本章小結 （59）
第5章 大數據並行編程與分析模型 （60）
5.1 大數據並行編程與分析模型綜述 （60）
5.2 大數據並行編程與分析模型SemanMR （63）
5.2.1 SemanMR體系架構 （63）
5.2.2 SemanMR技術思路 （64）
5.3 SemanMR關鍵技術 （66）
5.3.1 基於語意的調度器關鍵技術 （66）
5.3.2 SemanMR的作業/任務狀態交互新規則 （68）
5.3.3 語意映射器關鍵技術 （69）
5.3.4 基於語意的作業調度器關鍵技術 （70）
5.3.5 基於語意的任務調度器關鍵技術 （73）
5.3.6 任務跟蹤器關鍵技術 （76）
5.4 SemanMR計算部分框架 （78）
5.5 SemanMR原理分析 （82）
5.5.1 SemanMR原理實現分析 （82）
5.5.2 SemanMR實現原理特點分析 （84）
5.6 基於SemanMR的大數據實時處理與分析實現技術 （88）
5.6.1 SemanMR實時架構 （88）
5.6.2 SemanMR的MapReduce網絡優化技術 （89）
本章小結 （94）
第6章 大數據智能計算算法 （95）
6.1 大數據智能計算算法架構 （95）
6.2 數據採集算法 （95）
6.2.1 管理信息系統數據採集 （96）
6.2.2 網絡信息數據採集 （96）
6.2.3 物理信息數據採集 （96）
6.3 數據預處理算法 （97）
6.4 數據挖掘算法 （99）
6.4.1 分類算法 （99）
6.4.2 聚類算法 （100）
6.4.3 關聯挖掘算法 （101）
6.4.4 推薦算法 （101）
6.5 複雜智能算法 （103）
6.5.1 大數據溯源算法 （103）
6.5.2 大數據的相關推薦算法 （105）
6.5.3 基於大數據的決策管理算法 （105）
6.5.4 基於模型的推理及預測算法 （106）
6.5.5 基於數據的推理及預測算法 （107）
6.5.6 基於規則的推理及預測算法 （109）
6.5.7 混合推理及預測算法 （109）
本章小結 （109）
第7章 基於大數據的數據倉庫技術 （110）
7.1 Facebook中Hive採用的技術思路與存在問題分析 （110）
7.1.1 Hive採用的技術思路分析 （110）
7.1.2 Hive存在的問題分析 （111）
7.2 Yahoo!中Pig採用的技術思路與存在問題分析 （111）
7.2.1 Pig採用的技術思路分析 （111）
7.2.2 Pig存在的問題分析 （112）
7.3 未來數據倉庫架構需求分析 （113）
7.4 一種基於大數據的數據倉庫SemanDW （114）
本章小結 （114）
第8章 大數據安全與隱私保護 （115）
8.1 大數據安全模型BigData-PKI （115）
8.1.1 大數據安全體系結構 （115）
8.1.2 大數據安全模型BigData-PKI （116）
8.2 大數據安全協議BigData-Protocol （118）
8.3 大數據隱私 （120）
8.4 大數據的隱私提取方法 （121）
8.4.1 大數據的直接隱私提取方法 （121）
8.4.2 大數據的間接隱私提取方法 （121）
8.5 大數據隱私保護模型BigData-Privacy （122）
8.6 大數據共享信息與隱私信息融合技術 （122）
8.6.1 大數據的共享信息與隱私信息融合機制 （123）
8.6.2 大數據的共享信息與隱私信息融合算法 （123）
8.6.3 大數據的共享信息與隱私信息融合質量評價模型 （123）
8.7 雲環境下醫療大數據安全和隱私保護示範 （125）
8.7.1 雲環境下大數據安全和隱私保護架構 （125）
8.7.2 數據分割及安全機制 （127）
8.7.3 數據融合及安全機制 （129）
8.7.4 基於隱私數據的查詢機制 （130）
8.7.5 數據完整性保障機制 （131）
8.8 海量電子病歷安全保護應用 （133）
本章小結 （134）
第9章 基於大數據的語意軟件工程方法 （135）
9.1 基於大數據的語意軟件工程體系架構 （136）
9.2 基於大數據的語意軟件編制 （136）
9.2.1 基於大數據的語意軟件編制方法 （136）
9.2.2 基於大數據的語意軟件編制方法設計思路 （137）
9.2.3 複雜的SemanPL程序編程實現原理分析 （138）
9.2.4 基於大數據的語意編程語言SemanPL （139）
9.2.5 SemanPL編譯器原理分析 （141）
9.3 基於大數據的語意軟件測試 （143）
9.4 基於大數據的語意軟件驗證 （143）
9.5 基於大數據的語意軟件工程方法的語意軟件系統應用 （144）
本章小結 （144）
第二部分 基於海量語意規則的大數據流處理技術 （145）
第10章 基於規則的大數據流處理介紹 （147）
10.1 基於規則的大數據流 （147）
10.1.1 基於規則的大數據流應用背景 （147）
10.1.2 基於規則的大數據流應用意義 （148）
10.2 大數據流的規則處理技術國內外研究現狀 （149）
10.3 存在的問題總結與分析 （153）
本章小結 （154）
第11章 語意規則描述模型 （155）
11.1 規則表示方法 （155）
11.2 規則節點圖形化符號表示模型 （155）
11.2.1 非計算規則節點 （156）
11.2.2 計算規則節點 （156）
11.3 規則粒度 （158）
11.4 規則節點流量分析 （159）
11.5 計算規則節點計算代價分析 （163）
本章小結 （167）
第12章 海量語意規則網及優化 （168）
12.1 海量語意規則網概述 （168）
12.2 海量語意規則網維護 （169）
12.2.1 海量語意規則網增量集成 （169）
12.2.2 刪除規則節點時的規則網維護 （170）
12.3 海量語意規則網優化方法 （171）
12.3.1 基於規則合併的優化方法 （171）
12.3.2 規則模塊等價變換的優化方法 （173）
本章小結 （183）
第13章 海量語意規則處理算法 （184）
13.1 傳統規則處理算法存在的問題 （184）
13.2 海量語意規則模式匹配模型 （185）
13.2.1 海量語意規則模式匹配模型體系結構 （185）
13.2.2 概念與介紹 （186）
13.2.3 模式網絡存儲組織 （186）
13.2.4 海量語意規則模式匹配算法 （188）
13.3 海量語意規則模式匹配算法特點 （192）
13.4 海量語意規則網運行處理機制 （195）
本章小結 （198）
第14章 海量語意規則並行處理 （199）
14.1 海量語意規則並行處理面臨的問題 （199）
14.2 海量語意規則並行處理機制 （200）
14.2.1 海量語意規則並行處理機制GAPCM概述 （200）
14.2.2 海量語意規則子網生成 （201）
14.2.3 海量語意規則網計算代價預分配 （202）
14.2.4 海量語意規則網通信 （219）
14.2.5 映射分配 （220）
本章小結 （221）
第三部分 大數據應用 （223）
第15章 文化大數據 （224）
15.1 文化大數據的意義 （224）
15.2 文化大數據關鍵技術平台架構 （225）
15.3 文化大數據資源層 （226）
15.4 文化大數據綜合平台層 （227）
15.5 基於文化大數據的應用 （228）
15.6 文化大數據雲管理系統 （232）
本章小結 （234）
第16章 醫療健康大數據 （235）
16.1 醫療健康大數據 （235）
16.2 醫療健康大數據平台架構 （235）
16.3 醫療健康大數據共享平台 （237）
16.3.1 集中式醫療健康大數據共享平台 （237）
16.3.2 分散式醫療健康大數據共享平台 （238）
16.4 醫療健康大數據分散式架構資源集成方法 （239）
16.5 醫療健康大數據數據安全保護機制 （241）
16.6 醫療健康大數據隱私保護機制 （241）
16.7 醫療健康大數據挖掘與分析 （242）
16.8 基於可穿戴設備的居家醫療養老大數據分析系統 （243）
16.9 醫療健康大數據其他典型應用 （244）
本章小結 （245）
第17章 互聯網金融大數據 （246）
17.1 互聯網金融 （246）
17.1.1 互聯網金融的概念 （246）
17.1.2 互聯網金融的產生 （246）
17.1.3 互聯網金融分類 （247）
17.1.4 互聯網金融發展歷程 （248）
17.1.5 互聯網金融發展階段 （251）
17.1.6 互聯網金融發展趨勢 （252）
17.2 大數據金融 （253）
17.3 金融大數據架構 （254）
17.3.1 金融大數據數據源 （255）
17.3.2 數據採集/清洗/轉換 （255）
17.3.3 金融大數據存儲 （255）
17.3.4 各種金融模型 （256）
17.3.5 各種大數據挖掘分析算法 （257）
17.3.6 各種大數據並行編程模型 （257）
17.3.7 各種大數據金融應用 （257）
17.4 大數據金融案例 （257）
本章小結 （258）
第18章 其他典型大數據 （259）
18.1 教育大數據 （259）
18.1.1 教育大數據平台架構 （259）
18.1.2 基於大數據的教育社區學生/教師個性化服務 （261）
18.1.3 基於大數據的教育社區學生行為建模與分析 （262）
18.1.4 基於大數據的教育社區教學規律分析 （262）
18.1.5 基於大數據的教育社區個性化教學 （262）
18.1.6 基於教育大數據的語意問答系統 （262）
18.2 電子商務大數據 （263）
18.2.1 電子商務大數據平台架構 （263）
18.2.2 電子商務虛假圖片監測 （265）
18.2.3 電子商務產品個性化推薦 （265）
18.2.4 基於電子商務大數據的消費者行為分析 （266）
18.2.5 基於電子商務大數據的物流 （266）
18.2.6 電子商務實時大數據流規則處理 （266）
18.2.7 電子商務評估管理系統 （267）
18.3 互聯網大數據 （267）
18.3.1 互聯網大數據平台架構 （267）
18.3.2 互聯網熱點計算 （268）
18.3.3 互聯網熱點個性化推薦 （268）
18.3.4 互聯網輿情監測 （268）
18.3.5 互聯網熱點趨勢分析預測 （269）
18.3.6 互聯網輿情預警應用 （269）
18.3.7 大型網絡軟件平台的數據採集與分析方案 （269）
18.4 能源大數據 （272）
18.4.1 石油大數據 （272）
18.4.2 智能電網大數據 （275）
18.5 交通大數據 （276）
18.6 宏觀經濟大數據 （278）
18.7 進出口食品安全監管大數據 （280）
18.7.1 基於大數據的進出口食品安全監管系統總體架構 （280）
18.7.2 基於大數據的進出口食品安全監測分析 （280）
18.7.3 基於海量語意規則的進出口食品社會應急分析 （281）
18.7.4 基於大數據的進出口食品溯源分析 （282）
18.7.5 基於大數據的進出口食品安全決策 （283）
本章小結 （283）
第19章 基於大數據的語意計算及典型應用 （284）
19.1 基於大數據的應用領域分析 （284）
19.1.1 基於大數據的社交網絡領域應用分析 （284）
19.1.2 基於大數據的醫療領域應用分析 （285）
19.1.3 基於大數據的政府領域應用分析 （287）
19.1.4 基於大數據的金融領域應用分析 （289）
19.1.5 基於大數據的企業計算應用分析 （290）
19.2 語意搜索引擎 （291）
19.2.1 傳統搜索引擎 （292）
19.2.2 語義搜索引擎（Semantic Search Engine） （293）
19.2.3 語意搜索引擎（Semantic+ Search Engine） （293）
19.2.4 語意搜索引擎（Semantic++ Search Engine） （295）
19.3 語意金融 （296）
19.4 語意旅遊 （296）
19.5 語意電子商務 （297）
19.5.1 案例概述 （297）
19.5.2 校園社區網規則舉例 （298）
19.5.4 未經優化的帶流量的規則網優化 （302）
19.5.5 規則網絡代價計算 （305）
19.5.6 規則網絡任務劃分 （306）
19.5.7 規則子網劃分 （308）
本章小結 （310）
第20章 大數據未來研究方向 （311）
參考文獻 （316）
- 參考資料
-
- 1. 大數據背後的核心技術 ．電子工業出版社．2018-05-19[引用日期2018-05-19]
- 2. 大數據背後的核心技術 ．電子工業出版社[引用日期2023-03-02]
