複製鏈接
請複製以下鏈接發送給好友
https://baike.baidu.hk/item/GPT-1/63706953
複製
複製成功

GPT-1

鎖定
GPT-1是OpenAI 在2018 年，推出的第一代生成式預訓練模型。
此前，NLP 任務需要通過大規模數據集來進行有監督的學習，需要成本高昂的數據標註工作。
GPT-1 的關鍵特徵是：半監督學習。先用無監督學習的預訓練，在 8 個 GPU 上花費 了 1 個月的時間，從大量未標註數據中增強 AI 系統的語言能力，獲得大量知識，然後進行有監督的微調，與大型數據集集成來提高系統在 NLP 任務中的性能。 [1] 
軟件名稱
GPT-1
上線時間
2018年
開發商
OpenAI

目錄

  1. 1 產生背景
  2. 2 發展歷程
  3. 3 主要功能

GPT-1產生背景

在 GPT 出現之前，NLP 模型主要是基於針對特定任務的大量標註數據進行訓練。這會導致一些限制：
  • 大規模高質量的標註數據不易獲得
  • 模型僅限於所接受的訓練，泛化能力不足
  • 無法執行開箱即用的任務，限制了模型的落地應用
為了克服這些問題，OpenAI 走上了預訓練大模型的道路。 [1] 

GPT-1發展歷程

2018 年，OpenAI 推出了第一代生成式預訓練模型 GPT-1。 [1] 

GPT-1主要功能

GPT-1 的關鍵特徵是：半監督學習。先用無監督學習的預訓練，在 8 個 GPU 上花費 了 1 個月的時間，從大量未標註數據中增強 AI 系統的語言能力，獲得大量知識，然後進行有監督的微調，與大型數據集集成來提高系統在 NLP 任務中的性能。 [1] 
參考資料