反饋

Tengine

（AI推理框架）

Tengine是OPEN AI LAB（開放智能）推出的AI推理框架，致力於解決AIoT應用場景下多廠家多種類的邊緣AI芯片與多樣的訓練框架、算法模型之間的相互兼容適配，同時提升算法在芯片上的運行性能，將從雲端完成訓練後的算法高效遷移到異構的邊緣智能芯片上執行，縮短AI應用開發與部署週期，助力加速AI產業化落地。^[1]

中文名: Tengine

開源社區: GitHub、Gitee
開發公司: 開放智能機器（上海）有限公司

Tengine簡介

為了解決AIoT應用落地問題，Tengine重點關注嵌入式設備上的邊緣AI計算推理，為大量AIoT應用和設備提供高性能AI推理的技術支持。一方面可以通過異構計算技術同時調用CPU、GPU、DSP、NPU等不同計算單元來完成AI網絡計算，另一方面，它支持PaddlePaddle^[3] , PyTorch, TensorFlow,Caffe, MXNet, DarkNet, One Flow, ONNX等主流訓練框架及網絡模型格式。^[1] ONNX官方認證的戰略合作伙伴之一。^[2]

Tengine於2017年12月31日在Github上開源。^[1]

2018年11月9日Tengine與Arm中國AIPU構成人工智能平台“周易”在“2018年烏鎮世界互聯網大會”發佈。

Tengine應用了技術創新。在產品化上具備商用級標準，框架開源與商業服務同步並行。目前已經與20家以上的SoC芯片廠商完成對接適配。^[2]

CSDN 2019年發佈的《中國AI應用開發者報告》顯示，Tengine是開發者最喜愛的本土AI推理框架^[2] ，在全球開發者生態中，Tengine 排名第八位。^[3]

Tengine與Open CV建立長期戰略合作，與主流國產操作系統完成相互兼容認證，全面支持國產芯片、國產操作系統。^[2]

Tengine研發背景

隨着AI技術向各行業加速落地，AI能力也在從雲端向邊緣設備快速擴展，特別是AI推理在邊緣設備上運行。為解決算法在雲端訓練後生成的推理模型能夠在不同架構的邊緣（嵌入式）芯片上執行， Tengine向上支持多種主流的訓練框架，向下兼容各種異構的邊緣（嵌入式）AI芯片，並通過對ARM/RISC-V/GPU/DSP/NPU等各種指令架構做高效適配，充分挖掘芯片算力，加速算法執行效率。^[1] ^[5]