複製鏈接
請複製以下鏈接發送給好友
https://baike.baidu.hk/item/極限學習機/8147658
複製
複製成功

極限學習機

鎖定
極限學習機（Extreme Learning Machine, ELM）或“超限學習機”是一類基於前饋神經網絡（Feedforward Neuron Network, FNN）構建的機器學習系統或方法，適用於監督學習和非監督學習問題 [1]  。
ELM在研究中被視為一類特殊的FNN，或對FNN及其反向傳播算法的改進，其特點是隱含層節點的權重為隨機或人為給定的，且不需要更新，學習過程僅計算輸出權重 [2]  。
傳統的ELM具有單隱含層，在與其它淺層學習系統，例如單層感知機（single layer perceptron）和支持向量機（Support Vector Machine, SVM）相比較時，被認為在學習速率和泛化能力方面可能具有優勢 [2]  。ELM的一些改進版本通過引入自編碼器構築或堆疊隱含層獲得了深度結構，能夠進行表徵學習 [3-4]  。
ELM的應用包括計算機視覺和生物信息學，也被應用於一些地球科學、環境科學中的迴歸問題 [1]  。
中文名
極限學習機
外文名
Extreme Learning Machine, ELM
類    型
機器學習算法，神經網絡算法
提出者
Guang-Bin Huang，Qin-Yu Zhu，Chee-Kheong Siew
提出時間
2004年
學    科
人工智能
應    用
計算機視覺，生物信息學，環境科學

目錄

  1. 1 歷史
  2. 2 結構
  3. 3 算法
  4. ▪ 標準算法
  1. ▪ 改進算法
  2. ▪ 擴展算法
  3. 4 性質與理論
  4. 5 有關概念與比較
  1. 6 評價
  2. 7 應用

極限學習機歷史

極限學習機（Extreme Learning Machine, ELM）在2004年由南洋理工大學的Guang-Bin Huang、Qin-Yu Zhu和Chee-Kheong Siew提出，並發表於當年的IEEE國際交互會議（IEEE International Joint Conference）中，目的是為了對反向傳播算法（Backward Propagation, BP）進行改進以提升學習效率低並簡化學習參數的設定 [5-6]  。2006年，ELM原作者在對算法進行了進一步的測評後，將結論發表至Neurocomputing並得到了關注 [2]  。
ELM提出時是為監督學習問題而設計的，但在隨後的研究中，其應用範圍得到了推廣，包括以聚類為代表的非監督學習問題 [7]  ，並出現了具有表徵學習能力的變體和改進算法 [8]  。

極限學習機結構

ELM可以作為一種學習策略（例如對BP框架的改進），也可作為一類神經網絡構築進行論述。對於後者，標準的ELM使用單層前饋神經網絡（Single Layer Feedforward neuron Network, SLFN）的結構。具體地，SLFN的組成包括輸入層、隱含層和輸出層，其中隱含層的輸出函數具有如下定義 [1]  ：
這裏
為神經網絡的輸入、
為輸出權重，
被稱為特徵映射或激勵函數（activation function），其作用是將輸入層的數據由其原本的空間映射到ELM的特徵空間：
式中
和
是特徵映射的參數，在ELM研究中也被稱為節點參數（node parameter），其中
為輸入權重（input weights） [1]  。由於ELM中輸入層至隱含層的特徵映射是隨機的或人為給定的且不進行調整，因此ELM的特徵映射是隨機的。依據通用近似定理，特徵映射可以是任意非線性的片段連續函數（piecewise continuous function），常見的有：
名稱
解析式
三角函數
高斯函數
徑向基函數
Sigmoid函數
雙曲正弦函數
硬限幅函數（hard limit function）
不同的隱含層節點可以有不同的映射函數，神經網絡的節點也由其具有的特徵映射命名，例如Sigmoid節點、徑向基函數節點等。除上述映射函數外，SLFN的節點也可以是其它經過封裝的計算單元 [9]  ，例如模糊推理系統（fuzzy inference system）和其他次級神經網絡。

極限學習機算法

極限學習機標準算法

ELM僅需求解輸出權重，因此是一個線性參數模式（linear-in-the-parameter model），其學習過程易於在全局極小值收斂 [1]  。已知N組學習數據，對包含L個隱含層節點和M個輸出層節點的ELM進行學習有如下步驟 [6]  ：
  1. 隨機分配節點參數：在計算開始時，SLFN的節點參數會隨機生成，即節點參數與輸入數據獨立。這裏的隨機生成可以服從任意的連續概率分佈（continuous probability distribution）。
  2. 計算隱含層的輸出矩陣：隱含層輸出矩陣的大小為N行L列，即行數為輸入的訓練數據個數，列數為隱含層節點數。輸出矩陣本質上即是將N個輸入數據映射至L個節點所得的結果。
  3. 求解輸出權重：隱含層的輸出權重矩陣的大小為L行M列，即行數為隱含層節點數，列數為輸出層節點數。與其他算法不同，ELM算法中，輸出層可以沒有誤差節點，ELM算法的核心是求解輸出權重使得誤差函數最小。
ELM使用的L2誤差函數（L2 loss function）有如下表示：
這裏
為輸出矩陣，
為訓練目標，
為矩陣元素的弗羅貝尼烏斯範數（Frobenius norm）。引入L2正則化項後，上式改寫為：
其中
為正則化係數（regularization coefficient）求解該誤差函數等價於嶺迴歸問題，其解有如下表示：
此外奇異值分解（single value decomposition, SVD）也可用於求解權重係數：
式中
為
的特徵向量，
為
的特徵值。研究表明相對較小的權重係數能提升SLFN的穩定性和泛化能力 [10]  。
這裏以Python 3為例對ELM標準算法進行編程實現：
import numpy as np
import matplotlib.pyplot as plt

def sigmoid(a, b, x):
   '''
   定義Sigmoid函數: g(z) = 1/(1+e^-(ax+b))
   '''
   return 1.0/(1+np.exp(-1.0*(x.dot(a)+b)))
   
def ELM_prototype(X, T, C, n, L):
   '''
   迴歸問題的ELM標準算法
   變量：X - 輸入數據；樣本數x特徵數（N*n）
          ：H - 輸出矩陣；樣本數x隱含層節點數（N*L）
          ：T - 學習目標；樣本數x輸出層節點數（N*M）
          ：C - 正則化係數
   '''
   # 隨機初始化
   a = np.random.normal(0, 1, (n, L))
   b = np.random.normal(0, 1)
   # 使用特徵映射求解輸出矩陣
   H = sigmoid(a, b, X)
   # 計算輸出權重和輸出函數
   HH = H.T.dot(H); HT = H.T.dot(T)
   beta = np.linalg.pinv(HH+np.identity(L)/C).dot(HT)
   Fl = H.dot(beta)
   # 返回計算結果
   return beta, Fl
# 測試：構造輸入值和訓練目標（輸入變量n=2; 輸出變量m=1）
x1 = np.linspace(1, 20, 150)
x2 = np.linspace(-5, 5, 150)
X = np.vstack([x1, x2]).T
T = np.sin(x1*x2/(2*np.pi))+np.random.normal(0, 0.2, 150)
# 使用ELM算法進行學習（隱含層節點數L=100; 正則化參數C=1e5）
beta, Fl = ELM_prototype(X, T, C=1e5, n=2, L=100)
# 繪製學習結果
plt.plot(x1, T, lw=1.5, label='Training goal')
plt.plot(x1, Fl, lw=3, label='ELM output')
plt.legend()
ELM算法中求解輸出權重的過程中有矩陣求逆的步驟。由於映射函數的初始化是隨機的，因此在實際計算中經常出現矩陣無法求逆的現象。在理論上只要設定較大的正則化參數，需要求逆的矩陣將始終是正定矩陣，但是過大的正則化係數會影響ELM的泛化能力。一個可行的改進方案，是在映射函數隨機初始化的過程中，僅選擇能使隱含層輸出矩陣達到行滿秩或列滿秩的參數。這一改進可見於徑向基函數和Sigmoid函數中 [11-12]  。

極限學習機改進算法

動態算法
ELM中特徵映射的隨機初始化為其帶來了泛化的優勢，但也意味着相比於梯度下降算法，ELM的神經網絡需要更多的節點。節點的增加帶來了計算量的增加，在訓練數據大時，冗餘的節點會額外消耗計算資源，並可能出現過擬合（overfitting）。為解決上述問題，有研究在原有ELM算法的基礎上提出了動態學習的解決方案，即在訓練過程中不斷改變隱含層節點數，以平衡經驗風險和結構風險。包含上述動態學習功能的改進包括增量式ELM [13]  （Incremental ELM, I-ELM）、雙向ELM [14]  （Bidirectional ELM, B-ELM）和自適應ELM [15]  （Adaptive ELM, A-ELM）等。
以I-ELM為例，在開始階段，SLFN會被賦予一個可容忍的最簡結構，隨後整個學習過程以迭代方式進行，每一次迭代都會隨機產生數個備選節點，而對縮小學習誤差貢獻最大的一個節點會被選中並加入SLFN中進行下一次迭代，這樣當學習誤差迭代至預先設定的精度時，SLFN中不會有多餘的節點。
一些動態算法，例如I-ELM和自適應ELM能夠使用常見的激勵函數，而且被證明和標準算法一樣，保持了SLFN的通用近似定理 [1]  [15]  。
在線序列ELM
在線序列ELM [16]  （Online Sequential ELM，OS-ELM）是可以使用實時數據進行學習並更新輸出權重的ELM算法。OS-ELM的運行分為兩部分，首先，OS-ELM像ELM標準算法一樣通過給定的訓練數據計算輸出權重；隨後在在線學習的過程中，每當有新的數據塊被接收，就重新運行一次ELM並得到新的輸出權重，最後新舊輸出權重會進行組合從而完成對神經網絡的更新，有些算法會在更新數據時加入遺忘函數 [17]  。這裏給出一個OS-ELM的簡單例子 [16]  ：
輸入：學習數據
；輸出：完成學習的ELM
初始化階段：定義
；使用初始的學習數據和ELM標準算法計算輸出矩陣
和輸出權重
；定義
在線學習階段：當第
組學習數據可用時，計算新的輸出矩陣
，其中
為使用第
組學習數據獨立計算所得的輸出矩陣。最後計算新的輸出權重
，其中
偏斜與噪聲數據的改進算法
神經網絡可能對訓練數據的質量和標準化程度敏感。偏斜數據難以被轉化至標準正態分佈，會降低神經網絡的學習效率；噪聲數據包含過多除學習目標以外的信息，會降低神經網絡的泛化能力。加權ELM [18]  （Weighted ELM, W-ELM）是在分類問題中為應對偏斜數據對標準ELM進行改進的算法。加權ELM與標準算法的區別在於誤差函數的構建，標準算法中的正則化參數為一常數，而加權ELM將其修改為與輸入數據大小相同的矩陣，矩陣的元素被稱為懲罰係數（penalty coefficients）。懲罰係數能夠弱化偏斜數據中的多數成員對算法的影響。加權ELM的誤差函數可有如下表示：
式中
即為懲罰係數。在加權ELM的基礎上，有研究提出了重加權ELM [19]  （re-weighted ELM），即以迭代方式加權的ELM算法。重加權ELM被證明具有更好的穩定性，能夠解決訓練數據中的異常值問題。
噪聲數據可理解為真實數據與擾動的疊加，對擾動在ELM算法中傳播的研究表明 [20]  ，使用特定的方式選取映射函數和輸入權重，能夠降低輸入噪聲對輸出矩陣和輸出權重的影響。由此提出的FIR-ELM [20]  （Finite Impulse Response filte ELM）和DFT-ELM [21]  （Discrete Fourier Transform ELM）在初始化輸入層權重時使用了濾波技術，提高了算法對噪聲數據的穩定性。

極限學習機擴展算法

ELM模式集合
將機器學習方法進行模式集合的方法適用於ELM。常見的模式集合方法包括取平均、投票制（voting）、迭代（boosting）等，這裏以分類問題中的投票制的ELM模式集合進行説明 [22]  ：
輸入：學習數據
、測試數據
和
個ELM；輸出：測試數據的學習結果
學習過程：使用學習數據對每個ELM進行獨立的訓練；測試過程：使用ELM對測試數據進行分類，彙總分類結果，輸出被分最多的類別。
非監督學習ELM
ELM可以通過流型正則化（manifold regularization）得到面向聚類和字符嵌入（embedding）問題的非監督ELM [7]  （unsupervised ELM, US-ELM）。具體地，US-ELM的誤差函數中加入了流型正則化項（
）：
其中
是無標籤學習數據的拉普拉斯矩陣（graph Laplacian）上述優化問題被證明等價於一次廣義特徵值求解（Generalized Eigenvalue Problem, GEP）：
輸出權重矩陣可以從第二組到第
組特徵向量中獲得：
對嵌入問題，US-ELM將直接輸出嵌入矩陣；對於聚類問題，US-ELM使用K-均值算法（k-means algorithm）對嵌入矩陣中的數據進行聚類。
具有深度結構的ELM
使用ELM作為自編碼器的多層ELM 使用ELM作為自編碼器的多層ELM [9]
ELM能夠以堆棧自編碼器（stacked autoencoders）的形式得到深度結構。在進行學習時，深度ELM前端的數個隱含層使用ELM訓練堆棧自編碼器對輸入變量進行表徵學習，並在最後一個隱含層中使用ELM對編碼後的特徵進行解碼 [4]  。深度ELM在圖像處理等問題中的表現被證實優於ELM傳統算法 [4]  。此外，在獲得深度結構後，ELM也可以僅進行特徵學習並將編碼的特徵輸出至其它算法 [9]  。包含ELM的深度學習框架在計算機視覺問題，例如基於MNIST手寫字符數據的圖像分類問題中有得到嘗試 [23]  。

極限學習機性質與理論

插值與泛化性質
在ELM的插值理論研究中有如下結論 [4]  ：給定任意無限可導的激勵函數，對於N組訓練數據
，存在隱含層節點數小於N的SLFN，在由ELM學習後，訓練誤差能逼近任意精度，且當SLFN隱含層節點數與訓練數據相同時，訓練誤差為零。這裏的激勵函數的參數
可以由服從任意連續概率分佈的隨機數在ELM學習中初始化。上述結論表明，從插值角度而言，只要隱含層節點數足夠，ELM能夠使得SLFN以任意精度擬合給定的訓練數據。
ELM具有泛化能力，其原因被認為是算法中對特徵映射參數的隨機初始化增強了各輸入特徵的相互獨立性，創造了一個更大的求解空間，從而有利於SLFN找到正確的目標函數進行學習。對於迴歸問題，研究表明，在使用多項式函數、Sigmoid函數和Nadaraya–Watson函數作為映射時，ELM較好地保持了SLFN原本的泛化能力 [24]  ；若使用高斯類函數作為映射，ELM的泛化能力將會降低，但使用正則化和模式集合技術能夠補償泛化能力的損失 [25]  。按統計學習理論，ELM被認為具有較小的VC維（Vapnik–Chervonenkis dimension），即ELM在泛化時擁有較小的實際風險（actual risk）上限。具體地，對於包含L個無限可導特徵映射節點的ELM具有L個V-C維度 [26]  ，在泛化時，其
概率下的實際風險為 [1]  ：
式中
為訓練數據樣本數，
為V-C維度，
為訓練數據所得的經驗風險（empirical risk）
通用近似定理
ELM中SLFN的特徵映射是隨機的，但其服從通用近似定理。對迴歸問題，ELM的通用近似定理可有如下表述 [13]  ：
對任意的非常數片段連續特徵映射
如果
在
空間稠密，則
，即SLFN可以無限趨近於任意連續的目標函數。這裏特徵映射序列
可以由服從任意連續概率分佈的隨機數在ELM學習中初始化。
ELM的通用近似定理適用於常見的激勵函數，且不要求激勵函數出處連續可導，閾值函數（threshold function）可以作為ELM的激勵函數。
對於分類問題，ELM的通用近似定理可以有如下形式 [27]  ：
對任意特徵映射
，如果
在
維實數空間
或其緊緻集
上稠密，那麼隱含層包含隨機初始化
的泛化SLFN能夠區分在
或
上任意數量和形狀的不相交區域（disjoint region）。
ELM在分類問題上的通用近似定理表述意味着，ELM在理論上能夠無限趨近任意的決策邊界（decision boundary）。
生物學相似性
ELM被認為包含了生物學習的某些機制。例如在小鼠的實驗中，不同嗅覺信號從嗅小球（glomeruli）至嗅腦（piriform cortex）的映射被認為是分散和無差別的 [28]  ，即神經元對信號的加工與環境無關，這與ELM的輸入權重獨立於輸入數據和學習過程具有相似性。類似的學習機制在猴子的決策行為中也有出現 [29]  。
按Huang (2014)，ELM命名的含義是“超越和打破傳統機器學習與生物學習間的障礙” [10]  ：
（原文）‘‘ ‘Extreme’ here means to move beyond conventional artificial learning techniques and to move toward brain alike learning. ELM aims to break the barriers between the conventional artificial learning techniques and biological learning mechanism.”
ELM與生物學習過程間的相似性被認為影響了RKS [30]  （Random Kitchen Sinks）和No-Prop [31]  （No-Propagation）等機器學習算法。

極限學習機有關概念與比較

ELM在研究中可以與支持向量機（Support Vector Machine, SVM）和使用反向傳播算法（Back-Propagation, BP）的單層感知機，即BP神經網絡相比較，一般性的監督學習結果表明，ELM在學習速率和泛化能力上可能具有優勢 [6]  [7]  。
ELM與BP和SVM迴歸（SVR）算法的比較實例 ELM與BP和SVM迴歸（SVR）算法的比較實例 [2]
反向傳播算法
在與BP神經網絡，或反向傳播算法的比較中，ELM的學習速率是前者的十倍以上，具有效率優勢，但在誤差方面，ELM與BP的學習誤差相近，沒有顯著提升。在基於迴歸問題的測試和比較研究中，ELM的學習表現可能超過BP算法 [2]  ，也可能略低於BP算法 [32]  。
支持向量機
參見：支持向量機
支持向量機是常被用於和ELM進行比較的算法，這裏列出一些兩者的不同：
ELM算法包含直接的特徵映射並且輸入層，隱含層和輸出層是連接的；SVM基於核方法（kernel method）的特徵映射是間接的，不考慮特徵在神經網絡各層的連接。SVM在求解時通過構建超平面（hyperplane）對數據進行分類；而ELM的輸出層沒有誤差節點，也沒有上述過程 [9]  。
ELM使用嶺迴歸求解輸出權重；SVM使用最大邊距優化（maximal margin optimization）給出結果。ELM可以直接求解多元分類（multiclass classification）；而SVM需要將多元分類轉換為二項分類（binary classification）進行求解 [9]  。
按一些研究的個例分析，ELM與SVM的學習誤差相當，但ELM的計算複雜度更低要快於SVM [33]  。

極限學習機評價

在谷歌學術在2017年5月推出的“Classic Papers: Articles That Have Stood The Test of Time”測評活動中，與ELM有關的兩份研究被選入人工智能領域持續受到引用的經典文獻 [34]  。
對ELM原創性的爭議
ELM與其它相關算法/概念間的關係。 ELM與其它相關算法/概念間的關係。 [10]
機器學習領域有許多與ELM思路相當的算法，例如隨機向量連接函數 [35]  （Random Vector Functional-Link, RVFL）和Schmidt等 [36]  對前饋神經網絡權重的隨機化實驗。因此，在ELM被提出後有觀點認為，ELM不是一種獨立的算法 [37]  。並且有評論指出，ELM原作者為了凸顯其工作的獨立性而有意迴避了對其它類似研究的引用 [38]  。但也有觀點認為，ELM通過發展，已成為獨立的，且包含完整理論並與其它機器學習方法相聯繫的學習系統， [9]  。

極限學習機應用

在圖像處理方面，ELM被成功用於低分辨率至高分辨率圖像的轉化 [39]  ，以及遙感圖像中對下墊面類型的識別 [40]  。在生物科學領域，ELM被用於預測蛋白質交互作用 [41]  。地球科學領域的很多預測問題包含非線性過程且觀測數據缺乏，ELM因其泛化能力而得到應用，成功的例子包括對日河流徑流量 [42]  、風速 [43]  和乾旱指數 [44]  的預測。
包含ELM算法的編程模塊
HP-ELM [45]  ：該模塊是基於Python開發的ELM算法庫，包含GPU加速和內存優化設計，適用於處理大數據問題。HP-ELM支持LOO（Leave One Out）和分組交叉驗證（k-fold cross validation）動態選擇隱含層節點個數，可用的特徵映射包括線性函數、Sigmoid函數、雙曲正弦函數和三種徑向基函數。
Guang-Bin Huang在南洋理工大學的個人主頁上有ELM源代碼開放下載 [46]  。
參考資料
  • 1.    Huang, G., Huang, G. B., Song, S., & You, K. (2015). Trends in extreme learning machines: A review. Neural Networks, 61, 32-48.
  • 2.    Huang, G. B., Zhu, Q. Y., & Siew, C. K. (2006). Extreme learning machine: theory and applications. Neurocomputing, 70(1-3), 489-501.
  • 3.    Kasun, L. L. C., Zhou, H., Huang, G. B., & Vong, C. M. (2013). Representational learning with ELMs for big data.
  • 4.    Tang, J., Deng, C., & Huang, G. B. (2016). Extreme learning machine for multilayer perceptron. IEEE transactions on neural networks and learning systems, 27(4), 809-821.
  • 5.    Extreme Learning Machine Homepage  ．Nanyang Technological University, NTU[引用日期2018-06-20]
  • 6.    Huang, G. B., Zhu, Q. Y., & Siew, C. K. (2004). Extreme learning machine: a new learning scheme of feedforward neural networks. In Neural Networks, 2004. Proceedings. 2004 IEEE International Joint Conference on (Vol. 2, pp. 985-990). IEEE.
  • 7.    Huang, G., Song, S., Gupta, J. N., & Wu, C. (2014). Semi-supervised and unsupervised extreme learning machines. IEEE transactions on cybernetics, 44(12), 2405-2417.
  • 8.    Benoít, F., Van Heeswijk, M., Miche, Y., Verleysen, M., & Lendasse, A. (2013). Feature selection for nonlinear models with extreme learning machines. Neurocomputing, 102, 111-124.
  • 9.    Huang, G. B. (2015). What are extreme learning machines? Filling the gap between Frank Rosenblatt’s dream and John von Neumann's puzzle. Cognitive Computation, 7(3), 263-278.
  • 10.    Huang, G. B. (2014). An insight into extreme learning machines: random neurons, random features and kernels. Cognitive Computation, 6(3), 376-390.
  • 11.    Wang, Y., Cao, F., & Yuan, Y. (2011). A study on effectiveness of extreme learning machine. Neurocomputing, 74(16), 2483-2490.
  • 12.    Chen, Z. X., Zhu, H. Y., & Wang, Y. G. (2013). A modified extreme learning machine with sigmoidal activation functions. Neural Computing and Applications, 22(3-4), 541-550.
  • 13.    Huang, G.-B., & Chen, L. (2007). Convex incremental extreme learning machine. Neurocomputing, 70(16), 3056–3062
  • 14.    Yang, Y., Wang, Y., & Yuan, X. (2012). Bidirectional extreme learning machine for regression problem and its learning effectiveness. IEEE Transactions on Neural Networks and Learning Systems, 23(9), 1498-1505.
  • 15.    Zhang, R., Lan, Y., Huang, G. B., & Xu, Z. B. (2012). Universal approximation of extreme learning machine with adaptive growth of hidden nodes. IEEE Transactions on Neural Networks and Learning Systems, 23(2), 365-371.
  • 16.    Liang, N. Y., Huang, G. B., Saratchandran, P., & Sundararajan, N. (2006). A fast and accurate online sequential learning algorithm for feedforward networks. IEEE Transactions on neural networks, 17(6), 1411-1423.
  • 17.    Zhang, X., & Wang, H. L. (2011). Incremental regularized extreme learning machine based on Cholesky factorization and its application to time series prediction.
  • 18.    Zong, W., Huang, G. B., & Chen, Y. (2013). Weighted extreme learning machine for imbalance learning. Neurocomputing, 101, 229-242.
  • 19.    Horata, P., Chiewchanwattana, S., & Sunat, K. (2013). Robust extreme learning machine. Neurocomputing, 102, 31-44.
  • 20.    Man, Z., Lee, K., Wang, D., Cao, Z., & Miao, C. (2011). A new robust training algorithm for a class of single-hidden layer feedforward neural networks. Neurocomputing, 74(16), 2491-2501.
  • 21.    Man, Z., Lee, K., Wang, D., Cao, Z., & Khoo, S. (2012). Robust single-hidden layer feedforward network-based pattern classifier. IEEE transactions on neural networks and learning systems, 23(12), 1974-1986.
  • 22.    Cao, J., Lin, Z., Huang, G. B., & Liu, N. (2012). Voting based extreme learning machine. Information Sciences, 185(1), 66-77.
  • 23.    McDonnell, M. D., Tissera, M. D., Vladusich, T., Van Schaik, A., & Tapson, J. (2015). Fast, simple and accurate handwritten digit classification by training shallow neural network classifiers with the extreme learning machine algorithm. PloS one, 10(8), e0134254.
  • 24.    Liu, X., Lin, S., Fang, J., & Xu, Z. (2015). Is extreme learning machine feasible? A theoretical assessment (Part I). IEEE Transactions on Neural Networks and Learning Systems, 26(1), 7-20.
  • 25.    Lin, S., Liu, X., Fang, J., & Xu, Z. (2015). Is extreme learning machine feasible? A theoretical assessment (Part II). IEEE Transactions on Neural Networks and Learning Systems, 26(1), 21-34.
  • 26.    Liu, X., Gao, C., & Li, P. (2012). A comparative analysis of support vector machines and extreme learning machines. Neural Networks, 33, 58-66.
  • 27.    Huang, G.-B., Zhou, H., Ding, X., & Zhang, R. (2012). Extreme learning machine for regression and multiclass classification. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 42(2), 513–529.
  • 28.    Sosulski, D. L., Bloom, M. L., Cutforth, T., Axel, R., & Datta, S. R. (2011). Distinct representations of olfactory information in different cortical centres. Nature, 472(7342), 213.
  • 29.    Xie, J., & Padoa-Schioppa, C. (2016). Neuronal remapping and circuit persistence in economic decisions. Nature neuroscience, 19(6), 855.
  • 30.    Rahimi, A., & Recht, B. (2009). Weighted sums of random kitchen sinks: Replacing minimization with randomization in learning. In Advances in neural information processing systems (pp. 1313-1320).
  • 31.    Widrow, B., Greenblatt, A., Kim, Y., & Park, D. (2013). The No-Prop algorithm: A new learning algorithm for multilayer neural networks. Neural Networks, 37, 182-188.
  • 32.    Yang, Z., Baraldi, P., & Zio, E. (2016). A comparison between extreme learning machine and artificial neural network for remaining useful life prediction. In Prognostics and System Health Management Conference (PHM-Chengdu), 2016 (pp. 1-7). IEEE.
  • 33.    Chorowski, J., Wang, J., & Zurada, J. M. (2014). Review and performance comparison of SVM-and ELM-based classifiers. Neurocomputing, 128, 507-516.
  • 34.    Classic Papers: Articles That Have Stood The Teof Time - Top 10 in Artificial Intelligence  ．Google Scholar[引用日期2018-06-20]
  • 35.    Pao, Y. H., Park, G. H., & Sobajic, D. J. (1994). Learning and generalization characteristics of the random vector functional-link net. Neurocomputing, 6(2), 163-180.
  • 36.    Schmidt, W. F., Kraaijveld, M. A., & Duin, R. P. (1992, August). Feedforward neural networks with random weights. In Pattern Recognition, 1992. Vol. II. Conference B: Pattern Recognition Methodology and Systems, Proceedings., 11th IAPR International Conference on (pp. 1-4). IEEE.
  • 37.    Huang, G. B. (2008). Reply to “comments on “the extremelearning machine””. IEEE Transactions on Neural Networks, 19(8), 1495-1496.
  • 38.    The official home page on the origin of the Extreme Learning Machines (ELM)  ．weebly.com[引用日期2018-06-20]
  • 39.    An, L., & Bhanu, B. (2012, September). Image super-resolution by extreme learning machine. In Image processing (ICIP), 2012 19th IEEE International Conference on (pp. 2209-2212). IEEE.
  • 40.    Chang, N. B., Han, M., Yao, W., Chen, L. C., & Xu, S. (2010). Change detection of land use and land cover in an urban region with SPOT-5 images and partial Lanczos extreme learning machine. Journal of Applied Remote Sensing, 4(1), 043551.
  • 41.    You, Z. H., Lei, Y. K., Zhu, L., Xia, J., & Wang, B. (2013). Prediction of protein-protein interactions from amino acid sequences with ensemble extreme learning machines and principal component analysis. In BMC bioinformatics (Vol. 14, No. 8, p. S10). BioMed Central.
  • 42.    Lima, A. R., Cannon, A. J., & Hsieh, W. W. (2016). Forecasting daily streamflow using online sequential extreme learning machines. Journal of hydrology, 537, 431-443.
  • 43.    Salcedo-Sanz, S., Pastor-Sánchez, A., Prieto, L., Blanco-Aguilera, A., & García-Herrera, R. (2014). Feature selection in wind speed prediction systems based on a hybrid coral reefs optimization–Extreme learning machine approach. Energy Conversion and Management, 87, 10-18.
  • 44.    Deo, R. C., & Şahin, M. (2015). Application of the extreme learning machine algorithm for the prediction of monthly Effective Drought Index in eastern Australia. Atmospheric Research, 153, 512-525.
  • 45.    Akusok, A., Björk, K. M., Miche, Y., & Lendasse, A. (2015). High-performance extreme learning machines: a complete toolbox for big data applications. IEEE Access, 3, 1011-1025.
  • 46.    ELM Codes  ．Nanyang Technological University, NTU[引用日期2018-05-08]
展開全部 收起