AI合成主播

“AI合成主播”是在搜狗“分身”技術的支持下， ^[5]  通過人臉關鍵點檢測、人臉特徵提取、人臉重構、唇語識別、情感遷移等多項前沿技術， ^[5]  並結合語音、圖像等多模態信息進行聯合建模訓練後，生成與真人無異的AI分身模型。 ^[6]  該項技術能夠將所輸入的中英文文本自動生成相應內容的視頻，並確保視頻中音頻和表情、唇動保持自然一致，展現與真人主播無異的信息傳達效果。

“AI合成主播”不僅有中文“AI合成主播”，同時還有以“聯接中外、溝通世界”為使命的英文“AI合成主播”。 ^[2] 

建立輸入文本與輸出音頻信息的關聯，在圖像生成引擎中，使用業界的搜狗人臉識別、三維人臉重建、表情建模等技術對人臉表情動作進行特徵學習和建模，建立輸入文本、輸出音頻與輸出視覺信息的關聯映射，最終生成輸出分身視頻。 ^[7] 

2018年11月7日，五屆世界互聯網大會在浙江烏鎮拉開帷幕，搜狗公司CEO王小川、新華社副社長劉思揚、搜狗公司智能語音事業部總經理王硯峯和主持人邱浩聯合發佈AI合成主播。 ^[1] 

2019年2月19日，搜狗公司與新華社新媒體中心聯合發佈了首個站立式AI合成主播，新的AI合成主播從過去的“坐着播新聞”升級成結合肢體動作的“站立式播報”，標誌着“搜狗分身”技術再次取得突破。 ^[8] 

2019年3月，新華社聯合搜狗公司近日在京發佈全新升級的站立式AI合成主播，並推出全球首個AI合成女主播。 ^[9] 

2020年5月21日，搜狗聯合新華社推出的3D AI合成主播“新小微” ^{[4]  [10]}  。與以前的“新小浩”“新小萌”等不同版本相比，名為“新小微”的AI合成主播高度還原真人髮膚，在立體感、靈活度、可塑性、交互能力等多個方面，都有了大幅躍升，而且還能根據播報的內容，做出各種更接近於真人的姿勢和表情。 ^[11] 

2023年3月22日報道，俄羅斯南部斯塔夫羅波爾地區的一家電視台推出了一位AI天氣預報女播報員。節目負責人介紹，這名AI女主播應該是俄羅斯媒體首次推出的，這位俄羅斯AI女播報員的靈感來自於中國的AI主播。 ^[17] 

2023年4月11日消息，科威特首個人工智能（ai）生成的女主播亮相，吸引全球多家媒體關注和報道，也在社交媒體上引起較大反響。 ^[18] 

2023年6月，香港電台旗下 AI 天氣主播 Aida 正式登場，從 6 月 26 日起將在該台《香港電台天氣簡報》節目中報道當地與世界各地的天氣情況。 ^[19] 

2023年8月，山東廣播電視台元宇宙與人工智能實驗室放大招，全國首發超寫實男性數字主播“岱青”正式亮相。 ^[20] 

“AI合成主播”使用新華社中、英文主播的真人形象，配合搜狗“分身”的語音、合成等技術模擬真人播報畫面。這種播報形式，突破了以往語音圖像合成領域中，只能單純創造虛擬形象，並配合語音輸出唇部效果的約束，提高了觀眾信息獲取的真實度。利用“搜狗分身”技術，“AI虛擬主播”還能實時高效地輸出音視頻合成效果，使用者通過文字鍵入、語音輸入、機器翻譯等多種方式輸入文本後，將獲得實時的播報視頻。這種操作方式將減少新聞媒體在後期製作的各項成本，讓新聞視頻的製作效率有了提高。 ^[12] 

“AI合成主播”擁有和真人主播同樣的播報能力，能24小時不間斷播報。 ^[12] 

新版的AI合成主播採用了wavernn波形建模技術，替換掉傳統聲碼器，實現音頻合成。通過模型優化及多風格數據的使用，新版的AI合成主播實現了表情合成、肢體動作與語義的匹配。 ^[13-14] 

隨着圖形生成引擎的優化，AI合成主播從過去的“坐着播新聞”升級成結合肢體動作的“站立式播報”，利用“搜狗分身”技術繼續賦予AI合成主播肢體語言的能力，讓AI合成的主播更智能。 ^[13-14] 

“AI合成主播”不僅在全球AI合成領域實現了技術創新和突破，更是在新聞領域開創了實時音視頻與AI真人形象合成的先河。“AI合成主播”結合新華社“現場新聞”報道，將“AI合成主播”與短視頻一體化生產製作。 ^[15] 

最新推出的站立式AI合成主播即將投入到2019年新華社全國兩會的報道籌備中，並將在搜狗搜索、輸入法等平台上與用户見面。 ^[16] 

隨着“搜狗分身”技術能力的不斷提高，AI合成主播的定製週期也降低，合成效果和穩定性也有提升。僅靠少量用户真實音視頻數據，即可定製出高逼真度的分身模型，幫助媒體在融媒體轉型、新聞時效性、跨語種傳播能力等領域升級。 ^[13] 

援引外媒報道稱，中國的新聞主播可能面臨一些新的競爭——人工智能機器人在播報新聞時可以模仿人的面部表情和舉止。 ^[15] 

除此之外，《泰晤士報》、福克斯新聞、今日俄羅斯電視台、法蘭西24電視台、《新聞週刊》、《洛杉磯時報》、美國國家公共電台等媒體也進行了報道。

路透社報道稱，這個AI主播是以中國新聞主播邱浩為原型的，它身穿黑西裝打着領帶。這是中國旨在提升其在人工智能技術方面能力努力的一部分。 ^[15] 

英國《獨立報》網站則稱，新華社的AI主播是一位栩栩如生的數字化播報員，可以通過模仿真人主播的形象和聲音朗讀文本內容。

在受到讚許的同時，有些媒體認為“AI合成主播”還需要進一步完善。美國《赫芬頓郵報》網站稱，新華社似乎知道AI主播是需要不斷完善的，正如AI主播在其首次播報中所強調的那樣。它説：“作為一名正在研發中的人工智能新聞主播，我知道我需要改進的還有很多。謝謝。” ^[15] 

英國謝菲爾德大學人工智能和機器人學榮譽教授諾埃爾·夏基表示，AI主播是一個不錯的嘗試，今後我們會看到它不斷改進。