文心

文心全景圖涵蓋基礎大模型、任務大模型、行業大模型的三級體系，以滿足產業應用需求；發佈配套工具與平台層，發佈大模型開發套件、API以及內置文心大模型能力的EasyDL和BML開發平台，降低應用門檻；共創共享飛槳生態，同時建設大模型創意和探索社區暘谷，擴大AI大模型技術的體驗空間。 ^[29] 

1、知識增強：從大規模知識和海量數據中融合學習，提升了學習效率、可解釋性、及模型效果

2、產業級：源於產業實踐，服務於產業實踐，滿足真實場景中的應用需求

1、模型效果優：所需標註數據少，在各場景上的效果處於業界領先水平

2、生成能力強：擁有豐富的AI內容生成（AIGC）能力

3、應用門檻低：文心大模型提供了豐富的平台與工具，包括大模型開發套件、API以及內置文心大模型能力的EasyDL和BML開發平台

4、應用場景廣：目前，文心大模型已支持數百家企業與機構，開發者數量超過6萬，已在數百個場景中落地應用

ERNIE 3.0 ^[17] 

ERNIE 3.0首次在百億級和千億級預訓練模型中引入大規模知識圖譜，提出了海量無監督文本與大規模知識圖譜的平行預訓練方法。通過將大規模知識圖譜的實體關係與大規模文本數據同時輸入到預訓練模型中進行聯合掩碼訓練，促進了結構化知識和無結構文本之間的信息共享，大幅提升了模型對於知識的記憶和推理能力。在此基礎上，ERNIE 3.0 提出了將通用語義表示與任務語義表示相結合的模型框架，該框架融合自編碼和自迴歸等不同的任務語義表示網絡，既可同時處理語言理解和語言生成任務，還能做無標註數據的零樣本學習（Zero-shot Learning）和有標註數據的微調訓練（Fine-tuning）。

ERNIE 3.0刷新情感分析、觀點抽取、閲讀理解、文本摘要、對話生成、數學運算等54箇中文NLP任務基準，其英文模型在國際權威的複雜語言理解任務評測SuperGLUE上, 以超越人類水平0.8個百分點的成績登頂全球榜首。 ^[17] 

鵬城-百度·文心(ERNIE 3.0 Titan)參數規模達到 2600 億，相對 GPT-3 的參數量提升 50% 。沿襲了 ERNIE 3.0 的海量無監督文本與大規模知識圖譜的平行預訓練算法及兼顧語言理解與語言生成的統一預訓練框架。在此基礎上，鵬城-百度·文心中提出了可控學習和可信學習算法。在可控學習方面，模型具備了不同類型的零樣本生成能力。使用者可以將指定的體裁、情感、長度、主題、關鍵詞等屬性自由組合，無需標註任何樣本，便可生成新的類型的文本。在可信學習方面，鵬城-百度·文心通過自監督的對抗訓練，讓模型學習區分數據是真實的還是模型偽造的，使得模型對生成結果真實性具備判斷能力，從而讓模型可以從多個候選中選擇最可靠的生成結果，顯著提升了生成結果的可信度。

鵬城-百度·文心首創了大模型在線蒸餾技術，顯著降低了大模型應用成本。其在訓練過程中週期性地將知識信號傳遞給若干個學生模型同時訓練，保證了學生模型的效果和尺寸豐富性，方便不同性能需求的應用場景使用。其參數壓縮率可達99.98%。壓縮版模型僅保留0.02%參數規模就能與原有模型效果相當。

鵬城-百度·文心在60多項任務中取得最好效果，在其中30多項小樣本和零樣本任務上大幅刷新業界基準。知識推理任務上，鵬城-百度·文心相對OpenAI GPT-3 準確率絕對提升8%。在行業領域，僅利用少量標註數據甚至無需標註數據，就能解決新場景的任務已成為AI工業化大規模應用的關鍵。 ^[17] 

ERNIE 3.0 Zeus ^[12] 

ERNIE 3.0 Zeus 是 ERNIE 3.0 系列模型的最新升級。其除了對無標註數據和知識圖譜的學習之外，還通過持續學習對百餘種不同形式的任務數據學習。實現了任務知識增強，顯著提升了模型的零樣本/小樣本學習能力。ERNIE 3.0 Zeus 在學習過程中使用統一範式的多任務學習，建模數據中不同粒度的語義信息。為了進一步學習特定任務的相關知識，ERNIE 3.0 Zeus 提出了層次化提示（Prompt）學習技術。在數據構造時通過層次化的 Text Prompt 庫將百餘種不同的任務統一組織成自然語言的形式，和海量無監督文本以及百度知識圖譜聯合學習。此外訓練過程引入了層次化的 Soft Prompt 建模了不同任務之間的共性與特性，進一步提升了模型對於不同下游任務的建模能力。

ERNIE 3.0 Zeus 可以支持智能創作、摘要生成、問答、語義檢索、情感分析、信息抽取、文本匹配、文本糾錯等各類自然語言理解和生成任務。基於ERNIE 3.0 Zeus對外發布了業界首個開放的千億參數的中文生成 API，供各行各業的開發者調用和開發，使用其強大的零樣本和小樣本學習能力。 ^[12] 

PLATO ^[19] 

PLATO (Towards Buildingan Open-DomainChatbot via Curriculum Learning) 是世界首個基於隱變量的生成式開放域對話大模型，利用隱變量建模開放域對話中的一對多關係（一個輸入對應多個正確輸出），採用 Unified Transformer 框架共享生成模型中的編碼器和解碼器參數，通過課程學習方式提升模型訓練效率，在精細化構建的大規模高質量對話語料上基於飛槳深度學習框架訓練的對話大模型。 PLATO 具備接近真人水平的多輪流暢對話能力，開放域對話效果達到世界領先水平。

PLATO-1： 百度 NLP 於 2019 年 10 月預發佈了通用領域的對話生成預訓練模型 PLATO，在 ACL 2020 正式展示，參數規模約1億

PLATO-2： 2020年6月底發佈，參數規模擴大到 16 億，涵蓋中英文版本，可就開放域話題深度暢聊。PLATO-XL： 2021年9月發佈，參數規模110 億，當前最大規模的中文對話預訓練生成模型。 ^[19] 

ERNIE-Search ^[18] 

ERNIE-Search 提出了使用預訓練階段細粒度交互向粗粒度交互蒸餾的策略。通過在訓練過程中進行自蒸餾，在節省了傳統方法中訓練教師模型的開銷之外，提高了 ERNIE-Search 的模型效果。 ^[18] 

ERNIE-UIE是基於文心ERNIE大模型專門訓練的通用信息抽取模型。ERNIE-UIE使用單模型同時建模實體、關係、事件、情感等多種信息抽取任務，具備跨領域和跨任務遷移能力。用户可使用自然語言自定義抽取目標，無需訓練模型即可實現開放域環境下的關鍵信息提取。

面向多語言建模的預訓練-微調框架 ERNIE-M，統一建模了96種語言。其突破雙語語料規模對多語言模型的學習效果限制，提升了跨語言理解的效果，ERNIE-M中首次提出了基於回譯機制，從單語語料中學習語言間的語義對齊關係。ERNIE-M在跨語言自然語言推斷、語義檢索、語義相似度、命名實體識別、閲讀理解在內的 5 種典型跨語言任務上取得世界領先效果，在涉及12個語系40個語種的權威多語言評測XTREME上取得了榜首成績。

ERNIE-Sage 是 ERNIE SAmple aggreGatE 的簡稱，該模型可以同時建模文本語義與圖結構信息，有效提升 Text Graph 的應用效果，它的主要思想是通過 ERNIE 作為聚合函數（Aggregators），建模自身節點和鄰居節點的語義與結構關係。ERNIE-Sage 對於文本的建模是構建在鄰居聚合的階段，中心節點文本會與所有鄰居節點文本進行拼接；然後通過預訓練的 ERNIE 模型進行消息匯聚，捕捉中心節點以及鄰居節點之間的相互關係；最後使用ERNIE-Sage 搭配獨特的鄰居互相看不見的 Attention Mask 和獨立的 Position Embedding 體系，就可以輕鬆構建 TextGraph 中句子之間以及詞之間的關係。

ERNIE-Health 依託百度文心 ERNIE 先進的知識增強預訓練語言模型打造，通過醫療知識增強技術進一步學習海量的醫療數據，精準地掌握了專業的醫學知識。ERNIE-Health 利用醫療實體掩碼策略對專業術語等實體級知識學習，學會了海量的醫療實體知識。同時，通過醫療問答匹配任務學習病患病狀描述與醫生專業治療方案的對應關係，獲得了醫療實體知識之間的內在聯繫。ERNIE-Health 以超越人類醫學專家水平的成績登頂中文醫療信息處理權威榜單CBLUE 冠軍，並在多個醫療NLP任務上取得世界領先效果。 ^[30] 

ERNIE-Finance在海量金融領域文本和通用文本上進行訓練，使得模型學習了金融領域知識，在金融問答，金融事件主體抽取等一系列金融領域任務上提升顯著。為提升ERNIE在金融文本領域的效果，ERNIE-Finance 提出了多數據源，多任務模型分支策略，使模型在訓練過程中頂層結構學習金融領域知識，底層結構可以同時獲得來自金融文本和通用文本的知識。

VIMER-UFO 2.0 ^[14] 

行業最大視覺多任務文心VIMER-UFO2.0大模型的參數量達到170億，單模型28項公開數據集SOTA，基於飛槳Task MoE架構，根據任務的不同自動選擇激活最優的區域，從而實現100倍參數壓縮，同時支持下游任務快速擴展。百度文心大模型提出的統一特徵表示優化(UFO:UnifiedFeature Optimization)技術，能夠在充分利用大數據和大模型的同時，兼顧大模型落地成本及部署效率，解決大模型落地應用時參數量大、推理性能差等問題。 ^[14] 

VIMER-UMS ^[15] 

商品圖文預訓練大模型文心VIMER-UMS(Unified Multi-Source modeling)，一舉刷新4項國際權威商品下游視覺、跨模態檢索任務紀錄。文心VIMER-UMS基於海量互聯網商品圖文信息，構建億級多源商品大數據，統一視覺與多源圖文表徵建模，並針對多源多模態應用的信息殘缺問題，構建視覺特徵與多源圖文對比多任務學習框架，在4個商品視覺、多模態檢索任務上刷新業界SOTA效果。同時，基於 VIMER-UMS 商品圖文表徵預訓練，在實際商品拍照、多模態搜索與內容推薦、商品廣告、零售線下數字化等多個業務場景取得效果提升並落地，有效解決單模態、多模態下游任務多樣難題，顯著緩解線下零售商品識別定製優化低效的行業痛點。 ^[15] 

VIMER-StrucTexT 2.0 ^[16] 

文心·CV大模型VIMER打造了首個OCR（光學字符識別）全景任務基礎預訓練模型VIMER-StrucTexT 2.0，開創性地提出了“單模態圖像輸入、多模態知識學習”的預訓練框架，只需輸入單一文檔圖像，就能讓模型充分捕獲語義和結構信息。經過大規模文檔圖像數據充分學習後的預訓練模型，顯著提高文檔理解全景應用任務效果，在5項不同文檔圖像理解任務上刷新SOTA結果。文心VIMER-StrucTexT 2.0作為首個 OCR 全任務基礎預訓練模型，能夠廣泛應用於各行各業行文檔、卡證、票據等圖像文字識別和結構化理解。 ^[16] 

ERNIE-ViLG ^[20] 

ERNIE-ViLG模型提出統一的跨模態雙向生成模型，通過自迴歸生成模式對圖像生成和文本生成任務進行統一建模，更好地捕捉模態間的語義對齊關係，從而同時提升圖文雙向生成任務的效果。文心 ERNIE-ViLG 在文本生成圖像的權威公開數據集 MS-COCO 上，圖片質量評估指標 FID(Fréchet Inception Distance)遠超 OpenAI 的 DALL-E 等同類模型，並刷新了圖像描述多項任務的好效果。此外，文心 ERNIE-ViLG 還憑藉跨模態理解能力，在生成式視覺問答任務上也取得了領先成績。 ^[20] 

ERNIE-Layout ^[21] 

隨着眾多行業的數字化轉型，電子文檔的結構化分析和內容提取成為一項熱門的研究課題。電子文檔包括掃描圖像文件和計算機生成的數字文檔兩大類，涉及單據、行業報告、合同、僱傭協議、發票、簡歷等多種類型。跨模態文檔理解模型 ERNIE-Layout，首次將佈局知識增強技術融入跨模態文檔預訓練，在 4 項文檔理解任務上刷新世界最好效果，登頂 DocVQA 榜首。 ^[31]  同時，ERNIE-Layout 已集成至百度智能文檔分析平台 TextMind，助力企業數字化升級。 ^[21] 

ERNIE-ViL ^[22] 

ERNIE-ViL是業界首個融合場景圖知識的多模態預訓練模型，它將場景圖知識融入到視覺-語言模型的預訓練過程，學習場景語義的聯合表示，顯著增強了跨模態的語義理解能力。ERNIE-ViL 還在包括視覺常識推理、視覺問答、引用表達式理解、跨模態圖像檢索、跨模態文本檢索等 5 項典型多模態任務中刷新了世界最好效果。並在多模態領域權威榜單視覺常識推理任務（VCR）上登頂榜首。 ^{[22]  [32]} 

跨語言音素知識增強的語音-語言大模型 ERNIE-SAT。ERNIE-SAT是可以同時處理中英文的跨語言的語音-語言跨模態大模型，在預訓練過程中將中英雙語對應的音素作為輸入，讓模型學習不同語言間音素的對齊以及語言與語音的對齊。同時採用語言和語音做聯合掩碼學習，使得模型效果取得了進一步提升。ERNIE-SAT 在語音編輯、個性化語音合成以及跨語言的語音合成等多個任務取得了領先效果。

ERNIE-GeoL ^[23] 

ERNIE-GeoL是業界首個面向『地理-語言』類任務而專門設計的預訓練框架和跨模態大模型。為了充分融合和學習『地理-語言』關聯知識，ERNIE-GeoL在預訓練數據構建、模型結構以及預訓練目標三個方面進行了針對性的設計和創新。首先，ERNIE-GeoL使用地圖數據構建異構圖，並基於隨機遊走的方式從該圖中自動構建出藴含豐富地理知識的大規模預訓練數據。其次，ERNIE-GeoL使用聚合網絡結構TranSage來充分建模訓練數據中的異構圖。最後，ERNIE-GeoL採用Masked Language Modeling和Geocoding作為預訓練任務，學習『地理-語言』的統一語義表示，從而顯著增強了跨模態語義理解能力。ERNIE-GeoL已經在百度地圖POI檢索、POI推薦、POI信息處理、地址解析、Geocoding等業務中應用落地，大幅提升了這些任務的效果。 ^[23] 

航天-百度 · 文心大模型 ^[11] 

航天-百度·文心由百度和中國探月與航天工程聯合研發。百度CTO王海峯介紹，作為世界上首個航天領域大模型，航天-百度·文心可以將航天領域的數據和知識融合學習，對航天數據進行智能的採集、分析和理解，助力深空智能感知、規劃和控制等技術突破。 ^[11] 

國網-百度 · 文心大模型 ^[12] 

國網 - 百度 · 文心由百度和國家電網聯合研發。在能源電力行業，百度與國家電網合作，共同探索了行業大模型機制。基於通用文心大模型，百度與國網的專家們一起，引入電力業務積累的樣本數據和特有知識，並且在訓練中，結合雙方在預訓練算法和電力領域業務與算法的經驗，設計電力領域實體判別、電力領域文檔判別等算法作為預訓練任務，讓文心模型深入學習到了電力專業知識，在國網場景任務應用效果提升。 ^[12] 

浦發-百度 · 文心大模型 ^[12] 

浦發 - 百度 · 文心由百度和浦發銀行聯合研發。文心大模型結合浦發場景積累的行業數據與知識，雙方技術和業務專家一起設計了針對性的財報領域判別、金融客服問答匹配等預訓練任務，讓文心大模型學習到金融行業的知識，在浦發典型任務應用效果顯著提升。 ^[12] 

HELIX-GEM ^[12] 

面向生物計算領域的化合物表徵模型HelixGEM，是業界首個基於化合物三維空間信息，進行幾何構象增強的化合物表徵模型。模型的構建使用了多任務學習同時融合了多種自監督和監督學習，在14個藥物屬性預測相關的 benchmarks上效果達到業界最優，該工作發表於 Nature Machine Intelligence 2022年2月刊。在應用層面，基於HelixGEM構建的藥物篩選pipeline和ADMET成藥性預測等任務，可以幫助快速篩選化合物分子，提升藥物研發效率，降低藥物研發成本。 ^[12] 

HELIX-Fold ^[13] 

HelixFold是端到端完整訓練的蛋白結構預測模型，精度媲美AlphaFold2，性能領先。精度上，HelixFold在包含87個蛋白的CASP14數據集和包含371個蛋白的CAMEO數據集上，模型 TM-score 指標分別達到0.8771和0.8885，與原版 AlphaFold2準確率相當甚至更優。性能上，HelixFold基於飛槳強大的高性能並行計算能力，圍繞着顯存峯值、訓練速度、分佈式策略進行了全面優化，模型的訓練性能相比AlphaFold2提升106.97% ^[13] 

基於文心大模型的API服務已開放，包括：業界首個千億級中文大模型ERNIE 3.0 Zeus API，中文跨模態生成模型ERNIE-ViLG API，全球首個基於隱空間的大規模生成式開放域對話模型PLATO API，用户可方便快捷調用。

文心通過百度EasyDL平台提供零門檻NLP開發服務，該產品適用於NLP零基礎或追求高效率開發的企業用户和個人開發者，無須瞭解算法細節，三步即可快速定製NLP模型。平台支持文本分類-單標籤、文本分類-多標籤、短文本相似度、情感傾向分析、文本實體抽取、文本實體關係抽取等任務；支持文本智能標註，最高可節省90%的標註成本；模型支持公有云API調用、本地私有化部署，最快5分鐘即可集成，性能優異。 ^[4] 

文心通過百度BML平台提供全功能NLP開發服務，該產品適用於NLP專業開發工程師，也可滿足NLP初學者的使用訴求，產品預置領先的NLP算法，可為開發者提供少代碼模型訓練和便捷組網調參的開發體驗。平台支持文本分類、短文本匹配、序列標註、實體抽取等NLP經典任務類型；預置多種算法網絡，如BOW、CNN、GRU、TextCNN、LSTM、BiLSTM等。支持公有云一鍵部署與調用、離線私有化部署，滿足不同開發者需求。 ^[4] 

適用於追求靈活便捷開發的的企業或個人開發者，開發套件依託飛槳核心框架，內置百度自研業界效果領先的預訓練模型集ERNIE和基於應用場景豐富的NLP算法，將全開發週期的NLP開發流程規範封裝，旨在為NLP開發者提供效果領先、簡單易用、高效靈活的NLP算法定製開發工具套件。提供“開源版”和“旗艦版”兩種版本的選擇，為開發者提供源碼級的開發體驗。 ^[5] 

開源版：提供ERNIE 3.0系列開源模型和基於ERNIE的前沿任務模型，滿足企業和開發者對NLP模型開發和學習的需求，預置文本分類、文本匹配、序列標註、信息抽取、文本生成五大經典NLP任務，提供基於ERNIE3.0的預訓練模型的開發和使用。 ^[5] 

旗艦版：NLP算法定製開發工具，預置30餘個大規模預訓練模型、40餘個NLP基礎任務、20餘個數據預處理工具、10餘個模型微調工具。支持在BML私有化平台中使用。

建設大模型創意和探索社區暘谷，讓更多人零距離體驗AI大模型技術，激發創新與創意。

2020年5月，基於知識增強的持續學習語義理解技術ERNIE榮獲《2020年度中國人工智能學會優秀科技成果》。 ^[2] 

2020年7月，發佈ERNIE-ViL，首次將場景圖知識融入多模態預訓練，刷新了5項多模態任務紀錄，並登頂權威榜單VCR。 ^[3] 

2020年7月，文心（ERNIE）語義理解技術與平台正式發佈，並榮獲2020世界人工智能大會最高榮譽SAIL獎（Super AI Leader，卓越人工智能引領者）。 ^[1] 

20222年7月21日，在2022百度世界大會上，百度披露在預訓練大模型領域的又一重大進展，攜手中國航天重磅發佈“航天-百度·文心大模型”，推進航天領域AI技術應用。 ^[11] 

2022年7月21日，在2022百度世界大會上，百度首席技術官王海峯展示了基於飛槳文心大模型“補全”後的《富春山居圖》。AI補全部分與現存畫卷風格統一，山水脈絡和諧，得到了黃公望紀念館負責人毛傳鑌的高度評價，稱其“與現存真跡風格一致，不僅符合原畫審美特點，視覺上還同樣具有觀賞價值”。 ^[24] 

2022年上海高考結束後，一篇出自“數字人考生”的高考作文刷屏——由百度推出的數字人度曉曉，作答了全國新高考Ⅰ卷題為《本手、妙手、俗手》的議論文，曾擔任北京高考語文閲卷組組長的申怡老師給出了48分的成績。據介紹，根據歷年情況，獲得48分及以上作文成績的考生，僅佔不到25%，也就是説，度曉曉的作文分數已趕超約75％高考考生。 ^[25] 

2022年6月初，百度數字人度曉曉的四款畫作被製作為數字藏品，在百度APP上線售賣。作為國內首個數字人創作的藝術數字藏品，其畫作24小時售賣額就超過17萬元。度曉曉的作品不僅“叫座”，也“叫好”。她還受邀參加了今年西安美術學院本科生畢業展，開設專屬展區，被美院教授評價為具有“美院畢業生水平”。 ^[26] 

2022年5月20日，由深度學習技術與應用國家工程研究中心主辦、飛槳承辦的WAVE SUMMIT 2022深度學習開發者峯會線上舉行。百度業界首發的文心·行業大模型成為峯會一大亮點。百度聯合國網、浦發首發行業大模型，開啓大模型進化新格局。 ^[27] 

2022年12月鵬城-百度·文心的關鍵詞是“全球首個知識增強千億大模型”正式發佈，該模型參數規模達到2600億，是目前全球最大中文單體模型，在機器閲讀理解、文本分類、語義相似度計算等60多項任務取得最好效果，並在30餘項小樣本和零樣本任務上刷新基準。 ^[28]