共軛方向法

羣中一種重要的等價關係.設S，T是羣G的兩個非空子集，H是G的子羣，若存在H中元素g使得T=gSg=S，則稱S和T關於H共軛，其中T=gSg={gsg|s∈S}稱為S按g的變形.若S為G的子羣，T稱為S關於H的共軛子羣;若S={s}為一個元的集合，則稱t=gsg為s關於H的共軛元.當H=G時，通常就不加“關於G”這個修飾詞了.共軛關係是一種等價關係.設S是羣G的一個子集，H是G的一個子羣，與S關於H共軛的所有子集組成的集合稱為S關於H的共軛類.當S={s}為一個元素的集合，s關於G的共軛類是元素的集合，就簡稱G(的元素)的一個共軛類.

兩向量間的一種特殊關係.設A為n×n對稱正定矩陣，向量p₁，p₂∈R.若滿足條件(p₁)Ap₂=0，則稱p₁和p₂關於A是共軛方向，或稱p₁和p₂關於A共軛.一般地，對於非零向量組p₁，p₂，…，p_n∈R，若滿足條件：(p_i)Ap_j=0(i≠j，i，j=1，2，…，n)，則稱該向量組關於A共軛。

設A是n×n對稱正定矩陣，若有兩個n維向量P和Q，滿足

PAQ=0

則稱向量P和Q是關於A共軛的，或稱P、Q是A共軛方向。

以一組共軛方向作為搜索方向來求解無約束非線性規劃問題的一類下降算法。是在研究尋求具有對稱正定矩陣Q的n元二次函數

f(x)=1/2xQ x+bx+c

最優解的基礎上提出的一類梯度型算法，包含共軛梯度法和變尺度法。根據共軛方向的性質，依次沿着對Q共軛的一組方向作一維搜索，則可保證在至多n步內獲得二次函數的極小點。共軛方向法在處理非二次目標函數時也相當有效，具有超線性的收斂速度，在一定程度上克服了最速下降法的鋸齒形現象，同時又避免了牛頓法所涉及的海色(Hesse)矩陣的計算和求逆問題。對於非二次函數，n步搜索並不能獲得極小點，需採用重開始策略，即在每進行n次一維搜索之後，若還未獲得極小點，則以負梯度方向作為初始方向重新構造共軛方向，繼續搜索。

對於n維正定二次函數f，選取關於其係數矩陣是共軛的向量組p⁰，p¹，…，p^n-1，從任一點x⁰∈Rⁿ出發，相繼以p⁰，p¹，…，p^n-1為搜索方向，迭代公式為:

經n次一維搜索，便可找到xⁿ為f(x)的極小點.共軛方向法是鮑威爾(Powell,M.J.D.)於1964年首先提出的. ^[1]