最優性原理

一個最優決策應具有這樣的性質，不管初始狀態和初始決策如何，剩下的決策（整個最優決策中的一部分）對於從這一級開始的後續多級過程，仍然是一個最優決策。應用最優性原理，可以把多級決策問題的求解過程看作是一個連續遞推過程，由後向前逐級推算。在求解過程中，前一級的決策和輸出狀態只是後一級的初始條件（初始狀態），並不影響後續子過程的最優決策。 ^[1] 

設

維離散系統為

要求確定最優控制

，使性能指標

最小。式中，

是固定的；

不受限制（或

）。

記

為達到終端狀態

的末級性能指標，即有

當

時，得到

由於控制變量

對當前狀態

無作用，只能改變後續狀態變量

的值，而且控制變量

必然是當前狀態

的函數，記最優控制得到的性能指標為

採用同樣的方法，得到遞推公式

上式稱為貝爾曼遞推方程，它是動態規劃的基本遞推關係式。由已知的

級過程的最優性能指標

，根據遞推公式確定最優控制，就可得到

級過程的最優性能指標

。動態規劃的尋優算法是從末級過程開始的，然後，根據

式子逐級倒推，最終得到多級過程的最優決策和最優性能指標。遞推公式明確指出，每一步倒推時，並不是孤立地考慮當前級的過程，而是從該級到最後一級所有過程的整體的最優決策，使“整體”的性能指標最優。

動態規劃的遞推公式再一次重申了一個重要概念——嵌入原理原理，就是説，

既然表示初始狀態為

的一個

級過程中，從第

級開始的最後

級過程的最優性能指標，又表示初始狀態為

的

級的最優性能指標。嵌入原理的內容是，當

時，一個

級過程的最優決策和最優性能指標是被嵌入在一個

級過程的最優決策過程之中的。 ^[1]