-
隨機編碼器
鎖定
自編碼器（autoencoder）是神經網絡的一種，經過訓練後能嘗試將輸入複製到輸出。該網絡可以看作由兩部分組成：一個由函數h=f(x)表示的編碼器和一個生成重構的解碼器r=g(h)。
在自編碼器的基礎上，隨機編碼器的形成過程為：在編碼器和解碼器注入一些噪聲，使得它們的輸出是來自分佈的採樣。
- 中文名
- 隨機編碼器
- 外文名
- Random encoder
- 特 點
- 隨機性
- 應 用
- 人工智能
隨機編碼器自編碼器
自編碼器本質上是一個前饋網絡，可以使用與傳統前饋網絡相同的損失函數和輸出單元。設計前饋網絡的輸出單元和損失函數普遍策略是定義一個輸出分佈
並最小化負對數似然
。在這種情況下，
是關於目標的向量（如類標）。
在自編碼器中，
既是輸入也是目標。然而，我們仍然可以使用與之前相同的架構。給定一個隱藏編碼
，我們可以認為解碼器提供了一個條件分佈
。接着我們根據最小化
來訓練自編碼器。 損失函數的具體形式視
的形式而定。
就傳統的前饋網絡來説，如果
是實值的，那麼我們通常使用線性輸出單元參數化高斯分佈的均值。在這種情況下，負對數似然對應均方誤差準則。類似地，二值
對應於一個 Bernoulli 分佈，其參數由 sigmoid 輸出單元確定的。而離散的
對應 softmax 分佈，以此類推。在給定
的情況下，為了便於計算概率分佈，輸出變量通常被視為是條件獨立的，但一些技術（如混合密度輸出）可以解決輸出相關的建模。
[1]
隨機編碼器隨機編碼器結構
為了更徹底地與我們之前瞭解到的前饋網絡相區別，我們也可以將編碼函數(encoding function)
的概念推廣為編碼分佈 (encoding distribution)。
任何潛變量模型
定義一個隨機編碼器
以及一個隨機解碼器
