線性與非線性規劃

本書涵蓋了實用最優化方法的核心概念，並且兼顧了理論和流行的方法，特別是建立了最優化問題理論分析性質和求解具體問題的算法之間的聯繫。本書分為三部分：第1部分介紹線性規劃，包含了數值算法和許多重要應用；第2部分與第1部分是相互獨立的，介紹無約束最優化理論，既包含適當的最優化條件的推導，也包括基本算法的介紹；第3部分將第2部分的概念推廣到約束最優化問題。第四版增加了錐線性規劃的章節，它是線性規劃的重要推廣，在各類應用中，許多錐結構是可能的並且是有用的。但必須指出，錐線性規劃是前沿問題，需要特殊的研究。本版新增重要並且流行的問題包括：（1）具有超線性收斂速度的加速最速下降法；（2）可以分別進行的交替方向乘子法（ADMM）。 ^[1] 

第1章 引言 1

1.1 最優化問題 1

1.2 問題的分類 2

1.3 問題的規模 4

1.4 迭代算法及收斂性 5

第1部分 線性規劃 7

第2章 線性規劃的基本性質 9

2.1 導論 9

2.2 線性規劃問題舉例 11

2.3 基礎解 15

2.4 線性規劃基本定理 17

2.5 凸性相關分析 18

2.6 習題 22

第3章 單純形法 26

3.1 主元旋轉 26

3.2 相鄰極點 30

3.3 確定最小可行解 33

3.4 單純形法———計算過程 36

3.5 尋找基礎可行解 39

3.6 單純形法的矩陣形式 43

3.7 運輸問題的單純形法 45

*3.8 分解 542

3.9 總結 57

3.10 習題 58

第4章 對偶與互補理論 67

4.1 對偶線性規劃 67

4.2 對偶定理 69

4.3 與單純形法的關係 71

4.4 靈敏度與互補鬆弛分析 75

4.5 最大流—最小割定理 76

4.6 對偶單純形法 80

*4.7 原始—對偶算法 82

4.8 總結 86

4.9 習題 87

第5章 內點法 94

5.1 複雜性理論的要素 95

*5.2 單純形法不是多項式時間的 96

*5.3 橢球算法 98

5.4 分析中心 100

5.5 中心路徑 102

5.6 解策略 107

5.7 終止和初始化 112

5.8 總結 116

5.9 習題 117

第6章 錐線性規劃 121

6.1 凸錐 121

6.2 錐線性規劃問題 122

6.3 錐線性規劃的Farkas引理 125

6.4 錐線性規劃的對偶 128

6.5 SDP問題的互補性與解的秩 135

6.6 錐線性規劃的內點算法 139

6.7 總結 142

6.8 習題 142

第2部分 無約束問題 147

第7章 解和算法的基本性質 149

7.1 一階必要條件 150

7.2 無約束問題舉例 152

7.3 二階條件 154

7.4 凸函數和凹函數 156

7.5 凸函數的極小化與極大化 160

*7.6 零階條件 161

7.7 下降算法的全局收斂性 163

7.8 收斂速度 169

7.9 總結 173

7.10 習題 173

第8章 基本下降法 176

8.1 線搜索算法 176

8.2 最速下降法 189

8.3 收斂理論的應用 199

8.4 加速最速下降法 202

8.5 牛頓法 204

8.6 座標下降法 209

8.7 總結 213

8.8 習題 214

第9章 共軛方向法 219

9.1 共軛方向 219

9.2 共軛方向法的下降性質 221

9.3 共軛梯度法 223

9.4 共軛梯度法——一種最佳方法 226

9.5 部分共軛梯度法 228

9.6 非二次問題上的推廣 230

*9.7 平行切線法 232

9.8 習題 234

第10章 擬牛頓法 237

10.1 修正牛頓法 237

10.2 逆陣的構造 239

10.3 Davidon-Fletcher-Powell法 241

10.4 Broyden族方法 243

10.5 收斂性質 246

10.6 尺度法 249

10.7 無記憶的擬牛頓法 252

*10.8 最速下降法與擬牛頓法的組合 254

10.9 總結 258

10.10 習題 259

第3部分 約束最小化問題 265

第11章 約束最小化問題的條件 267

11.1 約束 267

11.2 切平面 268

11.3 一階必要條件（等式約束） 271

11.4 例子 272

11.5 二階條件 276

11.6 切子空間中的特徵值 278

11.7 靈敏度 281

11.8 不等式約束 282

11.9 零階條件和拉格朗日鬆弛 285

11.10 總結 291

11.11 習題 292

第12章 原始方法 295

12.1 原始方法的優點 295

12.2 可行方向法 296

12.3 起作用集方法 297

12.4 梯度投影法 300

12.5 梯度投影法的收斂速度 305

12.6 簡化梯度法 311

12.7 簡化梯度法的收斂速度 315

*12.8 變形 321

12.9 總結 322

12.10 習題 322

第13章 罰函數法和障礙函數法 326

13.1 罰函數法 327

13.2 障礙函數法 329

13.3 罰函數法和障礙函數法的性質 331

13.4 牛頓法和罰函數 338

13.5 共軛梯度法和罰函數法 339

13.6 罰函數的規範化 341

13.7 罰函數法和梯度投影法 342

*13.8 精確罰函數 345

13.9 總結 348

13.10 習題 348

第14章 對偶與對偶方法 352

14.1 全局對偶 353

14.2 局部對偶 357

14.3 對偶最速上升的標準收斂速度 361

14.4 可分離問題及其對偶 362

14.5 增廣拉格朗日函數 365

14.6 乘子法 369

14.7 乘子的交替方向法 372

*14.8 切平面法 376

14.9 習題 380

第15章 原始—對偶法 383

15.1 標準形式問題 383

15.2 一種簡單的優值函數 385

15.3 基本的原始—對偶法 386

15.4 修正牛頓法 391

15.5 下降性質 392

*15.6 收斂速度 396

15.7 原始—對偶內點法 397

15.8 總結 400

15.9 習題 401

附錄A 數學知識回顧 406

A.1 集合 406

A.2 矩陣記號 407

A.3 空間 408

A.4 特徵值和二次型 409

A.5 拓撲概念 410

A.6 函數 410

附錄B 凸集 414

B.1 基本概念 414

B.2 超平面和多面體 415

B.3 分離超平面和支撐超平面 417

B.4 極點 419

附錄C 高斯消元法 421

附錄D 基本的網絡概念 424

D.1 網絡流 425

D.2 樹程序 426

D.3 配送網絡 427