文心大模型

文心是百度自主研發的產業級知識增強大模型，已經形成了基礎-任務-行業三級大模型體系，包括自然語言處理、視覺、跨模態等基礎大模型，對話、跨語言、搜索、信息抽取等任務大模型，生物計算領域大模型，行業大模型，以及支撐大模型應用的工具平台。 ^[7] 

ERNIE 3.0 是ERNIE系列大模型的進一步升級。除了對無標註數據和知識圖譜的學習之外，還通過持續學習對百餘種不同形式的任務數據學習，實現了任務知識增強，顯著提升了模型的零樣本/小樣本學習能力。ERNIE 3.0 在學習過程中使用統一範式的多任務學習，建模數據中不同粒度的語義信息。為了進一步學習特定任務的相關知識，ERNIE 3.0 提出了層次化提示（Prompt）學習技術。在數據構造時通過層次化的Text Prompt庫將百餘種不同的任務統一組織成自然語言的形式，和海量無監督文本以及百度知識圖譜聯合學習。此外訓練過程引入了層次化的 Soft Prompt 建模了不同任務之間的共性與特性，進一步提升了模型對於不同下游任務的建模能力。 ^[8] 

ERNIE 3.0 可以支持智能創作、摘要生成、問答、語義檢索、情感分析、信息抽取、文本匹配、文本糾錯等各類自然語言理解和生成任務。 ^[9]  基於ERNIE 3.0 於2022年5月20日對外發布了開放的千億參數的中文生成API，供各行各業的開發者調用和開發，使用其強大的零樣本和小樣本學習能力。 ^[10] 

鵬城-百度·文心（ERNIE 3.0 Titan）參數規模達到2600億，相對GPT-3的參數量提升50% 。沿襲了ERNIE 3.0的海量無監督文本與大規模知識圖譜的平行預訓練算法及兼顧語言理解與語言生成的統一預訓練框架。 ^[11]  在此基礎上，鵬城-百度·文心中提出了可控學習和可信學習算法。在可控學習方面，模型具備了不同類型的零樣本生成能力。使用者可以將指定的體裁、情感、長度、主題、關鍵詞等屬性自由組合，無需標註任何樣本，便可生成新的類型的文本。在可信學習方面，鵬城-百度·文心通過自監督的對抗訓練，讓模型學習區分數據是真實的還是模型偽造的，使得模型對生成結果真實性具備判斷能力，從而讓模型可以從多個候選中選擇最可靠的生成結果，顯著提升了生成結果的可信度。 ^[12] 

鵬城-百度·文心首創了大模型在線蒸餾技術，顯著降低了大模型應用成本。其在訓練過程中週期性地將知識信號傳遞給若干個學生模型同時訓練，保證了學生模型的效果和尺寸豐富性，方便不同性能需求的應用場景使用。其參數壓縮率可達99.98%。壓縮版模型僅保留0.02%參數規模就能與原有模型效果相當。 ^[12] 

鵬城-百度·文心在60多項任務中取得最好效果，在其中30多項小樣本和零樣本任務上大幅刷新業界基準。 ^[12]  知識推理任務上，鵬城-百度·文心相對OpenAI GPT-3準確率絕對提升8%。 ^[13]  在行業領域，僅利用少量標註數據甚至無需標註數據，就能解決新場景的任務，已成為AI工業化大規模應用的關鍵。 ^[14] 

與文心大模型3.0版本相比，文心大模型3.5在效果、功能、性能上全面提升，這不僅表現在文心大模型的創作、問答、推理和代碼的提升上，還體現在訓練速度和推理速度的提升上。 ^[15]  在基礎模型訓練上，採用了飛槳最先進的自適應混合並行訓練技術及混合精度計算策略，並採用多種策略優化數據源及數據分佈，加快了模型迭代速度，顯著提升了模型效果和安全性。同時，創新了多類型多階段有監督精調、多層次多粒度獎勵模型、多損失函數混合優化策略、雙飛輪結合的模型優化等技術，進一步提升模型效果及場景適配能力。 ^[16]  文心大模型3.5還新增了插件機制，包括官方插件百度搜索和ChatFile，使得文心一言能夠生成實時準確信息和長文本摘要，拓展了大模型能力邊界。 ^[15] 

文心大模型4.0在人工智能核心的理解、生成、邏輯、記憶方面能力全面提升，各類AI應用場景具備極強的泛化能力。 ^[17]  例如，在萬卡算力上運行飛槳平台，通過集羣基礎設施和調度系統、飛槳框架的軟硬協同優化，支持了大模型的穩定高效訓練。建設了多維數據體系，形成了數據挖掘、分析、合成、標註、評估閉環，充分釋放數據價值，大幅提升模型效果。基於有監督精調、偏好學習、強化學習等技術進行多階段對齊，保障模型更好地與人類的判斷和選擇對齊。可再生訓練技術通過增量式的參數調優，有效節省了訓練資源和時間，加快了模型迭代速度。 ^[18] 

PLATO-XL是百億級參數中英文對話模型，支持開放域閒聊、知識增強等多種類型的對話任務。PLATO首次提出隱變量機制建模開放域對話中的一對多關係（一個輸入對應多個正確輸出），採用Unified Transformer框架共享生成模型中的編碼器和解碼器參數，通過課程學習方式提升模型訓練效率，在精細化構建的大規模高質量對話語料上基於飛槳深度學習框架進行高效訓練。 ^[19]  PLATO具備接近真人水平的多輪流暢對話能力，開放域對話效果達到世界領先水平，在全球對話技術頂賽DSTC中斬獲多個冠軍。 ^[20] 

ERNIE-Search大模型是融合大規模知識和海量數據的大規模語義理解模型，創新性地引入了語義匹配模型的自交互以及多交互的動態蒸餾方案，縮小了單塔教師模型與雙塔學生模型之間的結構性差異，提高了蒸餾效率，使得模型訓練更為高效。通過預訓練、下游任務微調階段的多交互範式以及海量數據蒸餾，ERNIE-Search大模型在開放領域問答任務上的表現有了顯著的提升，在MSMARCO段落排序等多項任務中取得了SOTA結果。ERNIE-Search大模型作為專為通用搜索場景設計的大模型，其應用範圍廣泛，包括但不限於文檔搜索、語義表示、語義匹配等任務，能夠滿足各行各業的需求。 ^[21] 

多語言大模型 ERNIE-M，統一建模了96種語言。其突破雙語語料規模對多語言模型的學習效果限制，提升了跨語言理解的效果，ERNIE-M中首次提出了基於回譯機制，從單語語料中學習語言間的語義對齊關係。ERNIE-M在跨語言自然語言推斷、語義檢索、語義相似度、命名實體識別、閲讀理解在內的5種典型跨語言任務上取得世界領先效果，在涉及12個語系40個語種的權威多語言評測XTREME上取得了榜首成績。 ^[22] 

ERNIE-Code是多自然語言多編程語言的代碼大模型，支持100+編程語言。ERNIE-Code預訓練引入代碼相關性和依賴關係學習，有效支持項目級代碼生成，在代碼推薦、單測生成、自然語言生成代碼、代碼修復等多項代碼智能任務上均取得領先效果。 ^[23] 

2023年3月16日，百度新一代大語言模型文心一言正式啓動邀測。 ^[24]  2023年8月31日，文心一言率先向全社會全面開放。 ^[25]  開放首日，文心一言共計回覆網友超3342萬個問題。 ^[26]  2023年12月28日，百度首席技術官王海峯在第十屆WAVE SUMMIT深度學習開發者大會上宣佈文心一言用户規模已突破1億。 ^[27] 

文心 · CV 大模型 VIMER 是百度文心產業級知識增強大模型的重要組成。其基於“基礎+任務+行業”的三級大模型結構，形成“大數據+大模型+小型化”研發閉環，針對標註成本高、任務複雜多樣等行業難題，為企業和開發者提供強大的視覺基礎模型，以及一整套視覺任務定製研發與應用閉環方案。

在大模型技術方面，對外發布 VIMER-StrucTexT 、VIMER-UFO、VIMER-TCIR、VIMER-CAE等通用大模型及多個行業共建大模型，可應用於千行百業，幫助中小企業實現降本增效。在大數據方面，基於自研的開放域檢測大模型及多模態檢索能力，建設集數據挖掘（文搜圖、圖搜圖）、數據標註（偽標籤自標註）、數據管理、數據生成能力於一體的數據平台，提供領先、低成本、穩定、高效的數據服務，為研發數據生產提質增效。在小型化方面，依託模型搜索、知識蒸餾、模型量化等技術，構建芯片模型結構設計、模型壓縮、推理優化一站式服務平台，加速大模型小型化及其在不同場景、不同硬件平台落地應用。

在應用方面，作為文心大模型的核心之一，文心·CV大模型VIMER已廣泛應用在自動駕駛、雲智一體、移動生態等核心業務中 ^[28]  ，並在能源、工業、保險、影視等行業與國家電網等企業共建行業大模型，進一步推動大模型驅動的產業智能化。

VIMER-TCIR視覺處理多任務學習大模型，通過利用Transformer局部注意力機制，結合RRDB卷積網絡，降低視覺處理任務對於顯存的需求，利用預訓練技術提升模型擬合能力。基於海量影視行業4K高清數據進行預訓練，並在下游子任務上微調，在去JPEG壓縮、去噪、去模糊、超分4類任務11項公開數據集上達到SOTA結果，獲得ECCV-AIM2022壓縮圖像超分賽道冠軍。基於TCIR方案攜手電影頻道推出電影頻道-百度 · 文心影視智感超清行業大模型，有效提升電影頻道老片修復速度，困難場景結合人工精修修復速度提升3-4倍。 ^[29] 

自監督視覺表徵學習 VIMER-CAE，創新性地提出“在隱含的編碼表徵空間完成掩碼預測任務”的預訓練框架，通過編碼模塊對輸入的圖像塊進行特徵表達，並利用隱式上下文迴歸和解碼模塊對輸入圖像的掩碼塊進行特徵表達恢復，在圖像掩碼建模問題上提高了預訓練模型的圖像表徵能力。基於VIMER-CAE的預訓練模型在下游各類圖像任務上取得了明顯的效果提升，在圖像分類、目標檢測、語義分割等經典下游任務上達到SOTA結果。 ^[30] 

視覺多任務文心VIMER-UFO 2.0大模型的參數量達到170億，單模型28項公開數據集SOTA，基於飛槳Task MoE架構，根據任務的不同自動選擇激活最優的區域，從而實現100倍參數壓縮，同時支持下游任務快速擴展。百度文心大模型提出的統一特徵表示優化(UFO:UnifiedFeature Optimization)技術，能夠在充分利用大數據和大模型的同時，兼顧大模型落地成本及部署效率，解決大模型落地應用時參數量大、推理性能差等問題。 ^[31] 

文心·CV大模型VIMER打造了OCR（光學字符識別）全景任務基礎預訓練模型VIMER-StrucTexT 2.0，開創性地提出了“單模態圖像輸入、多模態知識學習”的預訓練框架，只需輸入單一文檔圖像，就能讓模型充分捕獲語義和結構信息。經過大規模文檔圖像數據充分學習後的預訓練模型，顯著提高文檔理解全景應用任務效果，在5項不同文檔圖像理解任務上刷新SOTA結果 ^[32]  。文心VIMER-StrucTexT 2.0作為OCR全任務基礎預訓練模型，能夠廣泛應用於各行各業行文檔、卡證、票據等圖像文字識別和結構化理解。 ^[33] 

ERNIE-ViL是於2021年5月20日發佈融合場景圖知識的多模態預訓練模型， ^[47]  它將場景圖知識融入到視覺-語言模型的預訓練過程，學習場景語義的聯合表示，顯著增強了跨模態的語義理解能力。ERNIE-ViL還在包括視覺常識推理、視覺問答、引用表達式理解、跨模態圖像檢索、跨模態文本檢索等5項典型多模態任務中刷新了世界最好效果。並在多模態領域權威榜單視覺常識推理任務（VCR）上登頂榜首。 ^{[34]  [51]} 

跨語言音素知識增強的ERNIE-SAT，是可以同時處理中英文的跨語言的語音-語言跨模態大模型，在預訓練過程中將中英雙語對應的音素作為輸入，讓模型學習不同語言間音素的對齊以及語言與語音的對齊。同時採用語言和語音做聯合掩碼學習，使得模型效果取得了進一步提升。ERNIE-SAT在語音編輯、個性化語音合成以及跨語言的語音合成等多個任務取得了領先效果。 ^[35] 

文心ERNIE-ViLG 2.0是於2022年11月30日發佈的知識增強的AI作畫大模型。首先，通過視覺、語言等多源知識指引擴散模型學習，強化文生圖模型精準的跨模態語義理解，提升生成圖像的可控性和語義一致性。同時，首次引入混合降噪專家模型提升模型建模能力，讓模型在不同的生成階段選擇不同的“降噪專家”網絡，從而實現更加細緻的降噪任務建模，提升生成圖像的質量。此模型在文本生成圖像公開權威評測集 MS-COCO 和人工盲評上均超越了 Stable Diffusion、DALL-E 2 等模型，取得了當時該領域的世界最好效果，並在語義可控性、圖像清晰度、中國文化理解等方面展現出了顯著優勢。 ^[36] 

AI藝術與創意輔助平台文心一格，就是基於ERNIE-ViLG 2.0作為大模型底座的AI 作畫產品，只需輸入文字描述，就能快速生成各種風格的精美畫作， ^[37]  它具有三大特點：使用便捷，易於上手；畫作精美，注重用户體驗；更懂東方元素，善於中文。

文檔智能大模型ERNIE-Layout融合文本、圖像、佈局等信息進行跨模態聯合建模，創新性引入佈局知識增強，提出閲讀順序預測、細粒度圖文匹配等自監督預訓練任務，升級空間解耦注意力機制，能夠對多模態文檔（如文檔圖片、PDF 文件、掃描件等）進行深度理解與分析，刷新了5類11項文檔智能任務效果，登頂DocVQA榜首，併成為榜單首個突破90分大關的技術方案，同時首次以文檔智能模型登頂網頁問答榜單WebSRC。ERNIE-Layout已集成至百度智能文檔分析平台TextMind，助力企業數字化升級。 ^[38] 

文心生物計算大模型借鑑生命科學底層的第一性原理，通過構建“數據+原理”雙驅動的生物計算大模型技術，對化合物、蛋白質、RNA及其表徵和相互作用進行建模，以提升AI技術在小分子藥物發現、大分子藥物發現、疫苗設計等領域的應用。 ^[42] 

大分子領域：HelixFold-Single是於2022年10月發佈的開源的基於單序列語言模型的蛋白結構預測大模型，利用大規模蛋白質語言模型學習生物演化信息，把蛋白結構預測速度提升到秒級別。 ^[43]  從蛋白質的一級序列精準預測其三維結構，已被AlphaFold2證實可達到實驗精度。但AlphaFold2的模型主要依賴多序列比對（MSA）和模版（Template）信息，導致蛋白結構預測的速度非常慢，這成為模型向產業界大規模推廣的一個瓶頸。百度研發的單體蛋白結構預測大模型HelixFold-Single，不需要MSA信息作為輸入，僅僅通過蛋白質的一級序列就可以準確預測其三級結構。把蛋白結構預測速度提升到秒級別，同時在抗體和多肽等高可變的蛋白上，效果大大超越AlphaFold2，為抗體藥物設計和多肽藥物設計奠定了良好基礎。該工作作為封面文章，發表於 Nature Machine Intelligence 2023年10月刊。

小分子領域：HelixGEM是基於幾何構象自監督的化合物表徵大模型，結合實際藥物研發場景中的需求，充分考慮化合物的三維空間信息。以往的化合物建模模型和預訓練方法都僅關注化合物的二維拓撲圖結構，但在實際的藥物研發場景中，化合物的三維空間構象信息與其功能和性質存在緊密的關聯，因此，如果想更好的預測化合物的功能和性質，就應該充分考慮化合物的三維幾何構象信息。基於此，HelixGEM設計基於化合物幾何空間結構的圖神經網絡、建模原子-化學鍵、化學鍵-鍵角之間的關係，提出全新的基於空間構象的圖網絡模型，設計多種基於幾何的自監督學習任務。 ^[42]  該工作發表於 Nature Machine Intelligence 2022年2月刊。 ^[41] 

文心大模型與各行業企業聯手，在通用大模型的基礎上學習行業特色數據與知識，建設行業AI基礎設施。

截至2022年11月，文心已累計發佈11個行業大模型，涵蓋電力、燃氣、金融、航天、傳媒、城市、影視、製造、社科等領域，實現顯著效果提升，產業生態初步形成，正在成為加速推動行業智能化轉型升級的重要力量。 ^[39]  文心行業大模型是百度與行業頭部企業、機構聯合探索出的行之有效的大模型產業落地方式，讓大模型在實際應用場景中“不但能用還便捷好用”。 ^[40] 

文心大模型具有兩大特色，一是知識增強，文心大模型從大規模知識圖譜和海量無結構數據中學習，學習效率更高、效果更好，具有良好的可解釋性；二是產業級，文心大模型的技術源於產業並且致力於推動產業智能化升級，建設更適配場景需求的大模型體系，提供全流程支持應用落地的工具和方法，營造激發創新的開放生態。 ^[44]  得益於兩大特色，文心大模型通用性好、泛化性強，作為人工智能“基礎設施”的一部分，進一步拓寬了人工智能技術落地的場景覆蓋廣度，更加深了產業應用的深度。 ^[45] 

2020年5月，基於知識增強的持續學習語義理解技術ERNIE榮獲《2020年度中國人工智能學會優秀科技成果》。 ^[50] 

2020年7月，發佈ERNIE-ViL，首次將場景圖知識融入多模態預訓練，刷新了5項多模態任務紀錄，並登頂權威榜單VCR。 ^[47] 

2020年7月，文心（ERNIE）語義理解技術與平台正式發佈，並榮獲2020世界人工智能大會最高榮譽SAIL獎（Super AI Leader，卓越人工智能引領者）。 ^[52] 

2020年，文心（ERNIE） 榮獲中國人工智能學會優秀科技成果獎

2021年，知識增強的跨模態語義理解關鍵技術及應用獲得了國家技術發明二等獎

2023年，榮獲2022年度吳文俊人工智能科技進步獎特等獎 ^[53] 

2023年11月，百度知識增強大語言模型關鍵技術榮獲2023世界互聯網大會領先科技獎 ^[54] 

2023世界人工智能大會WAIC上，百度當選大模型專題組聯合組長，將積極參與和推動人工智能大模型標準化的頂層設計和規則研製，牽引提升中國大模型產業高質量發展。 ^[55] 

2023年5月2日，國際頂級學術期刊《Nature》正刊發表百度與合作單位在生物計算領域的重磅突破性成果——《Algorithm for Optimized mRNA Design Improves Stability and Immunogenicity》，提出mRNA序列優化算法LinearDesign。 ^[56] 

2023年10月消息，百度正在加緊訓練文心大模型4.0，或將在10月17日舉行的百度世界大會上發佈。預計文心大模型4.0將會在理解、生成、邏輯、記憶四大核心能力上進行提升。

2023年10月消息，國際頂級學術期刊《自然》旗下子刊《機器智能》發表了百度飛槳螺旋槳聯合百圖生科研發的文心生物計算大模型的又一重大成果《A method for multiple-sequence-alignment-free protein structure prediction using a protein language model》，提出了全球首個開源、並提供在線服務，無需MSA輸入的蛋白結構預測大模型HelixFold-Single。 ^[57] 

2022年11月30日，由深度學習技術與應用國家工程研究中心主辦、百度飛槳承辦的WAVE SUMMIT+2022深度學習開發者峯會如期舉行。百度集團副總裁、深度學習技術及應用國家工程研究中心副主任吳甜帶來了文心大模型的最新升級，包括新增11個大模型，大模型總量增至36個，構建起業界規模最大的產業大模型體系，並通過大模型工具與平台的升級和文心一格、文心百中等基於大模型技術的產品應用，進一步降低大模型產業化門檻，讓更多企業和開發者步入AI應用的新階段。 ^[39] 

2022年7月21日，在2022百度世界大會上，百度首席技術官王海峯展示了基於飛槳文心大模型“補全”後的《富春山居圖》。AI補全部分與現存畫卷風格統一，山水脈絡和諧，得到了黃公望紀念館負責人毛傳鑌的高度評價，稱其“與現存真跡風格一致，不僅符合原畫審美特點，視覺上還同樣具有觀賞價值”。 ^[58] 

2022年上海高考結束後，一篇出自“數字人考生”的高考作文刷屏——由百度推出的數字人度曉曉，作答了全國新高考Ⅰ卷題為《本手、妙手、俗手》的議論文，曾擔任北京高考語文閲卷組組長的申怡老師給出了48分的成績。據介紹，根據歷年情況，獲得48分及以上作文成績的考生，僅佔不到25%，也就是説，度曉曉的作文分數已趕超約75％高考考生。 ^[59] 

2022年6月初，百度數字人度曉曉的四款畫作被製作為數字藏品，在百度APP上線售賣。作為國內首個數字人創作的藝術數字藏品，其畫作24小時售賣額就超過17萬元。度曉曉的作品不僅“叫座”，也“叫好”。她還受邀參加了2022年西安美術學院本科生畢業展，開設專屬展區，被美院教授評價為具有“美院畢業生水平”。 ^[60] 

2022年5月20日，由深度學習技術與應用國家工程研究中心主辦、飛槳承辦的WAVE SUMMIT 2022深度學習開發者峯會線上舉行。百度業界首發的文心·行業大模型成為峯會一大亮點。百度聯合國網、浦發首發行業大模型，開啓大模型進化新格局。 ^[61] 

2021年12月鵬城-百度·文心的關鍵詞是“全球首個知識增強千億大模型”正式發佈，該模型參數規模達到2600億，是目前全球最大中文單體模型，在機器閲讀理解、文本分類、語義相似度計算等60多項任務取得最好效果，並在30餘項小樣本和零樣本任務上刷新基準。 ^[11]