Python程序設計

本書是中國信息協會大數據分會副會長劉鵬教授組織編撰的“高級大數據人才培養叢書”之一。本書是一本全面的、從入門到實踐的Python編程教程，從帶領讀者快速掌握基本的Python編程知識開始，循序漸進、層層深入地引導讀者利用新學到的知識開發功能豐富的項目。本書首先介紹了Python基礎；接着介紹了數據類型、文件、程序調試、面向對象程序設計、連接數據源等基本知識；然後結合網絡爬蟲、數據挖掘、自然語言處理、數據可視化、Web和移動應用等工具，以案例為依託進行項目實戰；最後介紹了國內各種雲服務平台，以及如何運用Python實現訪問。本書的全部實驗均可在大數據實驗平台上遠程開展，也可在高校部署的BDRack大數據實驗一體機上本地開展 ^[1] 

第1章 Python基礎 1

1.1 Python簡介 1

1.2 Python的安裝與運行 3

1.3 Python版本的選擇 8

1.4 程序控制 11

1.4.1 Python賦值語句 11

1.4.2 順序結構 18

1.4.3 選擇結構 19

1.4.4 循環結構 22

1.5 繪圖 27

1.5.1 創建turtle對象 27

1.5.2 turtle繪圖的基礎知識 29

1.5.3 利用turtle庫提供的方法繪製圖形 31

1.6 函數 37

1.6.1 函數的定義 37

1.6.2 函數的調用 39

1.6.3 lambda函數 42

習題 42

參考文獻 43

第2章 數據類型 44

2.1 核心內置數據類型概述 44

2.2 數字類型聲明及基本運算 47

2.2.1 整型 47

2.2.2 浮點型 47

2.2.3 複數類型 47

2.2.4 數字運算符 48

2.2.5 數字類型的常用函數及math庫 49

2.2.6 數字類型轉換函數 51

2.2.7 浮點型精度處理 52

2.3 列表 53

2.3.1 列表基本特徵 53

2.3.2 序列通用操作 55

2.3.3 可變序列及列表通用操作（一） 58

2.3.4 可變序列及列表通用操作（二） 59

2.4 元組 62

2.5 range 64

2.6 哈希運算 66

2.7 字典 67

2.7.1 字典概述及聲明 67

2.7.2 字典元素的訪問 71

2.7.3 字典常用方法 71

2.8 字符串 74

2.8.1 字符串的聲明 74

2.8.2 轉義字符 76

2.8.3 字符串序列通用操作 77

2.8.4 字符串常用內置方法 78

習題 82

參考文獻 83

第3章 文件 84

3.1 讀寫文件 84

3.1.1 文件對象聲明與基本操作 84

3.1.2 編碼問題 89

3.1.3 文件寫入操作 90

3.1.4 列表推導式 92

3.1.5 關閉文件 94

3.1.6 上下文語法 94

3.1.7 生成器 95

3.2 遍歷目錄樹 97

3.3 處理Word文件 102

3.3.1 Python-docx庫 102

3.3.2 利用Python-docx庫讀Word文件 102

3.3.3 利用docx創建Word文件 104

3.4 處理.pdf文件 105

3.5 處理壓縮文件 107

習題 111

參考文獻 112

第4章 程序調試 113

4.1 異常 113

4.2 斷言 127

4.3 日誌 131

4.4 調試器 138

習題 144

參考文獻 144

第5章 面向對象程序設計 146

5.1 面向對象程序技術的基本概念 146

5.2 類的定義和對象 148

5.3 構造函數和析構函數 150

5.4 類屬性和實例屬性 151

5.5 類的方法 152

5.5.1 類方法 152

5.5.2 實例方法 152

5.5.3 靜態方法 152

5.5.4 類的特殊方法 154

5.6 類的繼承性 160

5.6.1 單一繼承 160

5.6.2 多重繼承 162

5.7 類的多態性 164

習題 164

參考文獻 165

第6章 連接數據源 166

6.1 導入CSV數據 166

6.1.1 CSV數據的格式 166

6.1.2 Python讀取CSV文件 167

6.1.3 Python寫CSV文件 169

6.2 導入Excel數據 170

6.2.1 Python讀取Excel文件 171

6.2.2 Python寫Excel文件 171

6.3 導入JSON數據 172

6.3.1 JSON數據的格式 172

6.3.2 Python解碼JSON數據 172

6.3.3 Python編碼JSON數據 173

6.3.4 Python處理JSON數據文件 174

6.4 訪問數據庫 175

6.4.1 數據庫的查詢操作 177

6.4.2 數據庫的插入操作 178

6.4.3 數據庫的刪除操作 178

6.4.4 數據庫的修改操作 179

習題 179

參考文獻 180

第7章 網絡爬蟲 181

7.1 網絡爬蟲工作的基本原理 181

7.1.1 網頁的概念 181

7.1.2 網絡爬蟲的工作流程 182

7.1.3 Python與網絡爬蟲 183

7.2 網頁內容獲取——requests庫 183

7.2.1 requests對象 184

7.2.2 response對象 184

7.3 網頁內容解析——BeautifulSoup 庫 185

7.3.1 BeautifulSoup 庫概述 185

7.3.2 beautifulsoup4 庫常用方法和Tag節點 187

7.4 正則表達式 188

7.4.1 正則表達式概念 188

7.4.2 正則表達式元字符介紹 190

7.4.3 正則表達式的常用函數介紹 194

7.5 實戰：熱門電影搜索 195

7.6 實戰：大數據相關論文文章標題採集 196

7.7 實戰：全國空氣質量爬取 198

習題 199

參考文獻 200

第8章 數據挖掘 201

8.1 Python常用數據分析工具 201

8.1.1 Numpy 201

8.1.2 Scipy 202

8.1.3 pandas 202

8.1.4 Scikit-Learn 203

8.2 數據預處理 204

8.2.1 數據清理 204

8.2.2 數據集成 205

8.2.3 數據變換 206

8.2.4 Python數據預處理 206

8.3 分類與預測 210

8.3.1 特徵選擇 210

8.3.2 性能評估 210

8.3.3 實現過程 212

8.3.4 分類與預測的常用方法 213

8.4 聚類分析 235

8.4.1 聚類分析定義 235

8.4.2 聚類分析評價標準 235

8.4.3 數據相似度度量 236

8.4.4 聚類分析的常用方法 237

8.5 實戰：信用評估 247

8.5.1 數據加載及説明 247

8.5.2 數據預處理 248

8.5.3 劃分數據集 249

8.5.4 模型建立及參數調優 250

8.5.5 模型測試及分析 252

8.6 實戰：影片推薦系統 255

8.6.1 推薦系統 255

8.6.2 python-recsys簡介 256

8.6.3 影片推薦 256

習題 258

參考文獻 258

第9章 自然語言處理 260

9.1 Python 常用自然語言處理工具 260

9.1.1 Python自然語言處理工具包NLTK 260

9.1.2 Python中文處理工具jieba 260

9.1.3 Python語法解析器PLY 261

9.2 文本處理 261

9.2.1 文本獲取 261

9.2.2 文本表示 262

9.2.3 文本特徵詞提取 263

9.3 詞法分析 268

9.3.1 分詞 268

9.3.2 詞性標註 270

9.3.3 命名實體識別 271

9.3.4 去停用詞 272

9.3.5 中文分詞實戰 275

9.4 語法分析 277

9.4.1 語法分析簡介 277

9.4.2 語法樹 277

9.4.3 語法分析算法 278

9.4.4 語法分析示例 280

9.5 實戰：搜索引擎 282

習題 290

參考文獻 291

第10章 數據可視化 292

10.1 用Pillow操作圖像 292

10.1.1 圖像的基本知識 292

10.1.2 圖像處理中常用的模塊和函數 293

10.1.3 案例介紹 296

10.2 用Matplotlib繪圖 298

10.2.1 Matplotlib常用函數介紹 299

10.2.2 折線圖的函數定義及屬性説明 299

10.2.3 案例介紹 300

10.3 調用Echarts 308

習題 310

參考文獻 310

第11章 Web和移動應用 311

11.1 Web框架Django 311

11.1.1 Django簡介 311

11.1.2 Web框架 311

11.1.3 MVC和MTV模式 312

11.1.4 Django的安裝 313

11.2 Python Web開發 314

11.2.1 創建項目 314

11.2.2 Django 模板 316

11.2.3 Django 模型 318

11.2.4 Django Admin管理工具 323

11.2.5 Django Nginx+uwsgi 安裝配置 330

11.3 Python移動應用開發 333

11.3.1 Python Kivy 333

11.3.2 Python 移動應用開發 334

11.3.3 基於Python開發2048遊戲 335

習題 340

參考文獻 341

第12章 與雲結合 342

12.1 阿里雲 342

12.1.1 阿里雲架構 342

12.1.2 CLI Python 版 344

12.2 騰訊雲 350

12.2.1 騰訊雲總體架構 350

12.2.2 騰訊雲Python訪問 351

12.3 百度雲 354

12.3.1 百度雲架構 355

12.3.2 BAE Python部署 357

12.4 萬物雲 359

12.4.1 功能及應用 360

12.4.2 數據服務及訪問 360

12.5 環境雲 366

12.5.1 功能服務 366

12.5.2 應用開發數據接口 366

習題 369

參考文獻 369 ^[1]