IG

信息增益（Kullback–Leibler divergence）又稱information divergence，information gain(IG)，relative entropy 或者KLIC。

在概率論和信息論中，信息增益是非對稱的，用以度量兩種概率分佈P和Q的差異。信息增益描述了當使用Q進行編碼時，再使用P進行編碼的差異。通常P代表樣本或觀察值的分佈，也有可能是精確計算的理論分佈。Q代表一種理論，模型，描述或者對P的近似。

儘管信息增益通常被直觀地作為是一種度量或距離，但事實上信息增益並不是。就比如信息增益不是對稱的，從P到Q的信息增益通常不等於從Q到P的信息增益。信息增益是f增益（f-divergences）的一種特殊情況。在1951年由Solomon Kullback 和Richard Leibler首先提出作為兩個分佈的直接增益（directed divergence）。它與微積分中的增益不同，但可以從Bregman增益（Bregman divergence）推導得到。