大數據智能分析

大數據智能是大數據、人工智能與自然語言處理等學科交叉融合的關鍵技術。本書主要講述大數據智能的框架平台、理論算法、關鍵技術和應用實踐： 在大數據與人工智能方面主要講述了大數據智能概述、大數據技術平台與架構、傳統機器學習與深度學習算法；在自然語言處理方面詳細講解了大數據精準搜索、漢語分詞、新詞發現、文本分類聚類、情感分析等當前熱門的自然語言處理關鍵技術；在應用實踐方面，本書進一步提供了自主研發的NLPIR大數據智能分析工具平台，具體介紹警情大數據、網絡賭博、微博挖掘、看圖説話等多個實際的大數據應用項目，也引入《紅樓夢》前後作者分析、二手房房價、歌詞生成等有意思的課程實踐案例。 本書立足於作者近20年的前沿研究進展和工程實踐，結合北京理工大學“大數據分析與應用”研究生課程講授經驗，體系完整，內容深入淺出，理論與實踐並重，吸收了當前的技術前沿成果，同時突出原創的研究成果。本書可作為大數據、人工智能與自然語言處理方向的科研人員、高校研究生與本科生的教材，也可作為大數據智能方向的工程技術人員和愛好者的參考書。 ^[1] 

張華平，男，漢族，北京理工大學副教授，博士，研究生導師，知名漢語分詞系統ICTCLAS創始人，北京市海量語言信息處理與雲計算工程中心大數據搜索與挖掘實驗室主任，中國互聯網協會大數據工作委員會（籌）執行主任，中國中文信息學會社會媒體處理專業委員會副秘書長，北京市順義區政府專家諮詢委員會委員，第三屆全國社會媒體處理大會程序委員會主席，同時擔任遼寧師範大學客座教授，首都師範大學兼職副教授；中國計算機學會青年科技論壇YOCSEF委員，中國計算機學會普及工委委員，國家自然科學基金函評專家，北京市重點產業知識產權聯盟專家、同時擔任《計算機學報》、《計算機研究與發展》、中國科技論文在線等雜誌的特邀評審專家。2005年博士畢業於中科院計算所，研究方向為：大數據搜索與挖掘、自然語言處理、信息檢索與信息安全。曾先後獲得2016年度新疆維吾爾自治區科技進步獎二等獎，2010年度錢偉長中文信息處理科學技術獎一等獎，中科院院長優秀獎、中科院計算所所長特別獎，中科院計算所“百星計劃”首批入選者。發表《大數據搜索與挖掘》、《大數據大家談》、《信息檢索：算法與啓發式規則》、《自然語言理解》等專譯著4部。 ^[1] 

第1章大數據智能概述/1

1.1數據的智能演化過程/1

1.2大數據/2

1.2.1大數據的概念/2

1.2.2大數據的特徵/2

1.2.3大數據帶來的決策方式的革命/3

1.2.4大數據面臨的挑戰及其對應的技術概覽/5

1.2.5科學的大數據觀/9

1.2.6大數據架構下的人才需求及產業結構/10

1.3人工智能/12

1.4自然語言處理/14第2章大數據技術平台與架構/16

2.1大數據技術概覽/16

2.1.1大數據技術架構/16

2.1.2雲計算/17

2.2Hadoop、Spark生態系統/20

2.2.1Hadoop生態系統/20

2.2.2Spark生態系統/26

2.2.3Spark和Hadoop的性能對比/31

2.3大數據挖掘與可視化工具/34第3章傳統機器學習與數據挖掘/40

3.1機器學習介紹/40

3.2關聯規則挖掘/41

3.2.1Apriori算法/43

3.2.2FPgrowth算法/43〖2〗〖4〗大數據智能分析目錄〖3〗3.3分類/45

3.3.1SVM/45

3.3.2決策樹/52

3.3.3樸素貝葉斯/56

3.3.4K近鄰/59

3.4聚類/60

3.4.1基於劃分的聚類方法/60

3.4.2基於層次的聚類方法/65

3.4.3基於密度的聚類方法/71

3.4.4聚類案例： 用户細分模型/74

3.5數據挖掘相關工具/74

3.5.1數據獲取工具/75

3.5.2分詞工具/77

3.5.3分類聚類工具/79

3.5.4Python調用方法/79第4章經典深... ^[1]