大數據計算技術

大數據應用已成為行業熱點和產業發展新增長點，數據科學與計算技術也是計算機的前沿領域，其中，大數據計算分析提供了核心的技術支撐。本課程從大數據計算系統的三個層次對數據模型、處理算法、計算模型與架構、開發技術標準等內容進行了綜合性的介紹，重點闡述了各類數據分析算法和MapReduce，圖並行計算，交互式處理，流計算，內存計算等計算架構。 ^[1] 

第一章 大數據計算技術概述

1.1 課程簡介

1.2大數據計算概論（上）

1.3 大數據計算概論（下）

第二章 大數據計算系統

2.1 大數據計算系統

2.2 數據存儲系統

2.3 數據處理系統

2.4 數據處理系統（續）

2.5 數據應用系統

第三章 數據採集方法

3.1 系統日誌數據採集

3.2 網絡數據採集

第四章 數據清洗與規約方法

4.1 髒數據類型及處理方法

4.2 數據噪聲處理方法

4.3 數據集成方法

4.4 數據規約方法

4.5 數據建模方法

第五章 數據分析算法

5.1 C4.5算法

5.2 K-均值算法

5.3 SVM算法

5.4 Apriori算法

5.5 kNN算法

5.6 PageRank算法

第六章 文本讀寫技術

6.1 讀取文本文件

6.2 讀取CSV文件

6.3 寫入文本文件

6.4 其他操作

第七章 數據處理技術

7.1 數據合併技術

7.2 數據轉換技術

7.3 數據轉換技術(續)

第八章 數據分析技術

8.1 Numpy工具包

8.2 Numpy工具包：基本運算

8.3 Pandas工具包

8.4 Python Scikit-learn

8.5 Python NLTK 自然語言處理入門

第九章 數據可視化技術

9.1 數據可視化技術

第十章 大數據計算模式

10.1 大數據計算標準

10.2 大數據計算模式

第十一章 Hadoop計算架構

11.1 Hadoop平台

11.2 HDFS分佈式文件系統

11.3 HDFS分佈式文件系統(續)

11.4 分佈式存儲模型

11.5 分佈式存儲架構

11.6 二次索引表

第十二章 分佈式並行計算模型

12.1 並行計算模型

12.2 MapReduce計算架構

12.3 MapReduce計算流程

12.4 MapReduce算例描述

第十三章 圖並行計算架構

13.1圖計算問題

13.2 BSP圖計算模型

13.3 圖並行計算架構

13.4 圖並行計算架構（續）

第十四章 流計算

14.1 流計算模型

14.2 流計算模型（續）

14.3 ACK實現機制

第十五章 內存計算模型

15.1 分佈式緩存系統

15.2 內存技術

15.3 MemCloud計算架構

15.4 Spark 內存計算

15.5 Spark 內存計算（續）