mxnet

MXNet 是亞馬遜（Amazon） ^[2]  選擇的深度學習庫。它擁有類似於 Theano 和 TensorFlow 的數據流圖，為多 GPU 配置提供了良好的配置，有着類似於 Lasagne 和 Blocks 更高級別的模型構建塊，並且可以在你可以想象的任何硬件上運行（包括手機）。對 Python 的支持只是其冰山一角—MXNet 同樣提供了對 R、Julia、C++、Scala、Matlab，和 Javascript 的接口。

增強了sparse.dot運算符的性能 ^[3]  。

MXNet自動設置OpenMP，以便在未設置NUM_OMP_THREADS時使用所有可用的CPU內核以最大限度地提高CPU利用率 ^[2]  。

一元運算符和二元運算符可以避免在小型陣列上使用OpenMP，因為使用OpenMP實際上會損害多線程開銷 ^[2]  。

在CPU上顯着提高了broadcast_add，broadcast_mul等的性能 ^[2]  。

使用NCCL 2.1版或更新版本時，建議將環境變量NCCL_LAUNCH_MODE設置為PARALLE ^[2]  L。

MXNet可以加速任何數值計算[1]。神經網絡中，每一層由一個線性函數和一個非線性變換組成。 在MXNet中，我們可以將其表示為

hidden_linear = mx.sym.dot(X, W)
hidden_activation = mx.sym.tanh(hidden_linear)