統計學習理論的本質

《統計學習理論的本質》 ^[1]  主要內容：統計學習理論是針對小樣本情況研究統計學習規律的理論，是傳統統計學的重要發展和補充，為研究有限樣本情況下機器學習的理論和方法提供了理論框架，其核心思想是通過控制學習機器的容量實現對推廣能力的控制。在這一理論中發展出的支持向量機方法是一種新的通用學習機器，較以往方法表現出很多理論和實踐上的優勢。《統計學習理論的本質》是該領域的權威著作，着重介紹了統計學習理論和支持向量機的關鍵思想、結論和方法，以及該領域的最新進展 ^[1]  。

作者：（美國）瓦普尼克（Vladimir N. Vapnik） 譯者：張學工

譯序

第二版前言

第一版前言

0 引論：學習問題研究的四個階段

0.1 Rosenblatt的感知器（60年代）

0.1.1 感知器模型

0.1.2 對學習過程分析的開始

0.1.3 對學習過程的應用分析與理論分析

0.2 學習理論基礎的創立（60-70年代）

0.2.1 經驗風險最小化原則的理論

0.2.2 解決不適定問題的理論

0.2.3 密度估計的非參數方法

0.2.4 算法複雜度的思想

0.3 神經網絡（80年代）

0.3.1 神經網絡的思想

0.3.2 理論分析目標的簡化

0.4 回到起點（90年代）

第一章 學習問題的表示

1.1 函數估計模型

1.2 風險最小化問題

1.3 三種主要的學習問題

1.3.1 模式識別

1.3.2 迴歸估計

1.3.3 密度估計（Fisher-wald表示）

1.4 學習問題的一般表示

1.5 經驗風險最小化歸納原則

1.6 學習理論的四個部分

非正式推導和評述——1

1.7 解決學習問題的傳統模式

1.7.1 密度估計問題（最大似然方法）

1.7.2 模式識別（判別分析）問題

1.7.3 迴歸估計模型

1.7.4 最大似然法的侷限

1.8 密度估計的非參數方法

1.9 用有限數量信息解決問題的基本原則

1.10 基於經驗數據的風險最小化模型

1.11 隨機逼近期間

第二章 學習過程的一致性

2.1 傳統性的一致性和非平凡一致性概念

2.2 學習理論的關鍵定理

2.3 一致雙邊收斂的充分必要條件

2.4 一致單邊收斂的充分必要條件

2.5 不可證偽性理論

2.6 關於不可證偽性的這定理

2.7 學習理論的三個里程碑

非正式指導和評述——2

2.8 概率論和統計學的基本問題

2.9 估計概率測度的兩種方式

2.10 概率測度的強方式估計與官度估計問題

2.11 Glivenko-Cantelli及其推廣

2.12 歸納的數學理論

第三章 學習過程收斂速度的界

3.1 基本不等式

3.2 對實函數集的推廣

……

第四章 控制學習過程的推廣能力

第五章 模式識別的方法

第六章 函數估計的方法

第七章 統計學習理論中的直接方法

第八章 鄰域風險最小化原則與SVM

第九章 結論：什麼是學習理論中重要的？

參考文獻及評述

索引