-
天河二號超級計算機
鎖定
2014年11月17日公佈的全球超級計算機500強榜單中,中國“天河二號”以比第二名美國“泰坦”快近一倍的速度連續第四次獲得冠軍。2015年5月,“天河二號”上成功進行了3兆粒子數中微子和暗物質的宇宙學N體數值模擬,揭示了宇宙大爆炸1600萬年之後約137億年的漫長演化進程
[1]
。同時這是當時(至2015年)為止世界上粒子數最多的N體模擬;2010-2015年,“天河二號”超級計算機連續六年在全球超級計算機500強榜單中以每秒3.386×1016次計算稱雄。 2016年6月20日,新一期全球超級計算機500強榜單公佈,使用中國自主芯片製造的“神威·太湖之光”取代“天河二號”登上榜首。2018年11月12日,新一期全球超級計算機500強榜單在美國達拉斯發佈,中國超算“天河二號”位列第四名。2019年11月18日,全球超級計算機500強榜單發佈,中國超算“天河二號”排名第四位。
[2]
- 公佈時間
- 2013年5月
- 世界排名
- 第七名(截止2021年11月) [19]
- 落户位置
- 中山大學廣州超算中心
- 使用機構
- 廣州超級計算中心
- 運行系統
- Red Hat Enterprise Linux Server release 7.3 (Maipo)
天河二號超級計算機研究歷程
2009年,中國首台千萬億次計算機“天河一號”研製成功,運行“核高基”專項支持研製的銀河麒麟操作系統,名列當年的國際超級計算機TOP 500排行榜世界第五位、亞洲第一位的排名,並使中國成為繼美國之後世界上第二個能夠研製千兆次超級計算機的國家。
2010年時,我國研製的首台千兆次超級計算機“天河一號”曾在全球TOP 500超級大型計算機排行榜中排名第一,但在2011年時被日本最新研發的超級計算機“京”超越了。到了2012年,美國的“泰坦”又超越了日本的“京”。
2013年下半年,它將在廣州超級計算中心投入運行,其先導系統已開始為生物醫藥、新材料等領域用户提供服務。
從2010年11月14日天河一號排名世界第一到2013年6月17日天河二號再登世界超算之巔,從天河一號4.7千兆次到天河二號5.49×1016次,從超級計算機由千兆(10×1015)次級邁入萬兆(10×1016)次級計算速度,這是國防科技大學天河團隊再次創造的“中國速度”。
[3]
2013年下半年,天河二號超級計算機在國家超級計算廣州中心已正式投入運行,為120多家用户提供了300多項典型應用計算。同時,為用户培訓了一批超算應用技術人才。
2015年5月,由北京師範大學、國防科技大學、加拿大理論天體物理研究所、北京大學、中科院高能物理研究所聯合組成的宇宙中微子數值模擬團隊,經過一系列技術攻關,在“天河二號”上成功進行了3萬億粒子數中微子和暗物質的宇宙學數值模擬,揭示了宇宙大爆炸1600萬年之後約137億年的漫長演化進程。
[4]
2019年11月4日,國防科技大學計算機學院吳俊傑帶領的QUANTA團隊,聯合信息工程大學等國內外科研機構,提出了量子計算模擬的新算法。該算法在“天河二號”超級計算機上的測試性能達到國際領先水平,谷歌的工作也引用了這項結果的預印版論文。當地時間4日,國際期刊《物理評論快報》正式在線發表了該成果。
[6]
天河二號超級計算機組成結構
天河2號由16000個節點組成,每個節點有2顆基於Ivy Bridge-E Xeon E5 2692處理器和3個Xeon Phi,累計共有32000顆Ivy Bridge處理器和48000個Xeon Phi,總計有312萬個計算核心。
每個Xeon Phi使用其中的57個核心,而不是使用全部的61個,因為使用61個在運算週期協調方面會有問題,而使用57個核心能夠加速4個執行線程,並且在每個線程單週期可以達成4Gflops的運算量,運行在1.1GHz的Xeon Phi可以生產1.003 Tflops的雙精度運算能力。如果考慮CPU,2 Ivy Bridge * 0.2112 Tflop/s + 3 Xeon Phi * 1.003 Tflop/s=3.431 Tflops,2個Ivy Bridge+9個Xeon Phi單個節點可以有3.431 Tflops運算能力,16000個節點總計可達54.9PFlops性能。每個運算節點有256GB主存、而每個Xeon Phi板載8GB內存,因此每個節點共有88GB內存,總計16000個節點一共有1.404 PB內存,而外部存儲器容量方面更是高達12.4PB.
在每個主板上有2個計算節點,而每個框架則有16個主板,4個框架組成一個機櫃,整個系統由125個機櫃組成。每個計算節點主板分為兩塊,一塊CPU一塊APU,CPU上有4核Ivy Bridge、內存和一個Xeon Phi協處理器,而APU基板上則承載着5個Xeon Phi協處理器.CPU和APU之間有5個水平插入的鏈接口,由Ivy Bridge內置的PCI-E 2.0進行連接,雖然Ivy Bridge內置為PCI Express 3.0接口,但Xeon Phi僅支持2.0,單個通路為10Gbps帶寬。
計算節點的前端處理器為4096個FT-1500處理器, FT-1500處理器是由國防科技大學為天河1研發,其可以説是天河1項目的最大收穫,其為16核心的Sparc V9架構處理器,在40nm工藝情況下運行頻率為1.8Ghz,峯值性能為144 Gflops/s,功耗為65W,但相比英特爾22nm 12核 2.2GHz 211Gflops/s性能的Ivy Bridge還是有明顯差距。
天河2互聯方面採用自主研發的 Express-2 內部互聯網絡,其為有13個交換機,而每個交換機有576個端口。連接介質為光電混合。具體控制器是名為NRC的ASIC專用目的集成電路,其採用90nm工藝,封裝尺寸為17.16x17.16 mm,共有2577引腳。單個NRC的吞吐能力為2.56Tbps.而在終端方面網絡接口也採用類似結構的NIC,但規模稍小,為10.76x10.76 mm, 675 pin,其採用PCIE 2.0方式連接,傳輸速率為6.36GB/s.並且在在12000節點的情況下延遲也很低,僅為85us.
而在計算能力方面,使用14336個節點 總計50GB內存進行LINPACK測試,理論性能為49.19Pflops,而實際測試性能為30.65Pflops,效率為62.3%.這個效率並不算高,還有很大優化提升潛力。當然也可能是被Xeon phi僅支持PCI Express 2.0帶寬不足限制。
上面測試使用了16000個節點中的14336個,運用了90%的規模,基本可以代表天河2的整體性能表現。天河2的性能部件(處理器、內存、互聯)整體功耗為17.6MW,而整體的運算能力為30.65PFlops,這樣計算每瓦的性能為1.935Gflops,這個性能/功耗比可以排在超算TOP500的前五,其整體性能/功耗比十分出色。
系統的整體功耗為17.6 MW,並且這個功耗還不包括水冷這樣的散熱系統,如果考慮上整體功耗將高達24MW,廣州國家超算中心將採用城市供水系統構建高散熱效能的冷卻系統,有能力可以提供80KW系統的散熱能力。
[7]
天河二號超級計算機系統由170個機櫃組成,包括125個計算機櫃、8個服務機櫃、13個通信機櫃和24個存儲機櫃,佔地面積720平方米,內存總容量1400萬億字節,存儲總容量12400萬億字節,最大運行功耗17.8兆瓦。天河二號運算1小時,相當於13億人同時用計算器計算一千年,其存儲總容量相當於存儲每冊10萬字的圖書600億冊。相比此前排名世界第一的美國“泰坦”超級計算機,天河二號計算速度是“泰坦”的2倍,計算密度是“泰坦”的2.5倍,能效比相當。與該校此前研製的天河一號相比,二者佔地面積相當,天河二號計算性能和計算密度均提升了10倍以上,能效比提升了2倍,執行相同計算任務的耗電量只有天河一號的三分之一。
[8]
天河二號超級計算機技術參數
- 型號
天河二號型號為TH-IVB-FEP
- 處理器
- 16,000個運算節點,每節點配備兩顆Xeon E5 12核心的中央處理器、三個Xeon Phi 57核心的協處理器(運算加速卡)。累計32,000顆Xeon E5主處理器和48,000個Xeon Phi協處理器,共312萬個計算核心。中央處理器為英特爾提供的,運作時鐘頻率為2.2GHz的Xeon E5-2692 V212核心處理器,基於英特爾Ivy Bridge微架構(Ivy Bridge-EX核心),採用22納米制程,峯值性能0.2112TFLOPS。運算加速上,使用基於英特爾集成眾核架構的Xeon Phi 31S1P協處理器,運行時鐘為1.1GHz,每個使用61個核心中的57個(因為使用61個會存在運算週期協調問題),每核心籍由特殊的超線程技術能運作4個線程,產生峯值性能為1.003TFLOPS。
- 前端處理器
- 計算節點前端處理器為4096顆FT-1500 16核心SPARC V9架構的處理器,40納米制程,運作時鐘頻率1.8GHz,熱設計功耗65瓦,峯值性能144GFLOPS。
- 存儲
- 內存每個節點擁有64GB主存,而每個Xeon Phi協處理器板載8GB內存,故每節點共88GB內存,整體總計內存1.408PB。外存12.4PB容量的硬盤陣列
- 主架
- 主板、機架與機櫃均由浪潮集團製造,共有125個機櫃,每個機櫃容納4個機架,每個機架容納16塊主板,每個主板設置有兩個計算節點。每個機櫃還裝有負載指示燈,根據機櫃內主機的運算負載變更發光二極管的發光顏色。每塊主板上分為APU模塊和CPM模塊兩部分,APU部分承載5塊Xeon Phi,CPM部分承載1塊Xeon Phi+4顆Xeon E5。APU模塊和CPM模塊之間以CPU內部提供的PCI-E 3.0 16x接口進行連接,但實際由於Xeon Phi的硬件限制,僅支持至PCI-E 2.0 16x,單通道數據傳輸速率為10Gbps。
- 連接
使用光電混合傳輸技術(Optoelectronics Hybrid Transport Technology),使用自制的TH Express-2主幹拓撲結構網絡連接,以13個大型路由器通過576個連接端口以光電傳輸介質與各個運算節點互聯,控制器名為NRC,使用90納米制程,單個控制器的數據吞吐量2.56Tbps,終端網絡接口使用名為NIC的控制器,以PCI-E 2.0接口鏈接,數據傳送速率6.36GB/s。
- 操作系統
麒麟操作系統、基於SLURM(Simple Linux Utility for Resource Management,資源管理用單一Linux公用程序)的全局資源管理。
Ubuntu Linux。(Ubuntu OpenStack運行在256個高性能節點上,而且在接下來的數月將會增長至超過6400個節點。OpenStack和Ubuntu的編制工具Juju都將運行在天河二號上,使國防科技大學的合作伙伴和聯盟機構能夠快速部署和管理高性能雲環境)
[9]
- 能耗
整機功耗17,808千瓦,在搭載水冷散熱系統以後,功耗將達到24兆瓦,無論水冷系統的搭載與否,都是超級計算機TOP500裏功耗最大的
天河二號電費每年達1億人民幣
以6月17日公佈的數據推算,每瓦性能為1.901GFLOPS,仍不及泰坦的每瓦2.143GFLOPS和IBM紅杉每瓦2.177GFLOPS的成績,但比"京"的每瓦0.830GFLOPS每和天河一號每瓦僅0.668GFLOPS都要高不少。
天河二號超級計算機性能特點
- 特點
它有五大特點:一是高性能,峯值速度和持續速度都創造了新的世界紀錄;二是低能耗,能效比為每瓦特19億次,達到了世界先進水平;三是應用廣,主打科學工程計算,兼顧了雲計算;四是易使用,創新發展了異構融合體系結構,提高了軟件兼容性和易編程性;五是性價比高。
- 性能
2013年6月,天河二號以峯值速度(Rpeak)每秒54,902.4TFLOPS(萬億次浮點運算)、持續速度(Rmax)33,862.7TFLOPS,超越泰坦超級計算機(Rpeak 27,112.5TFLOPS,Rmax 17,590.0TFLOPS),成為當今世界上最快的超級計算機。這個成績於2013年6月17日提交至TOP500。實際上,在早前的運行測試中,僅使用16,000個運算節點中的90%,亦即14,336個節點,LINPACK運算速度就達到30.65PFLOPS的性能水準,超過前任“泰坦”的74%。國際TOP500組織2013年11月18日公佈了最新全球超級計算機500強排行榜榜單,“天河二號”以比第二名美國的“泰坦”快近2倍的速度登上榜首。
同樣在2013年6月,天河二號以2,061GTEPS的成績在Graph500上排名第六。Graph500是一個對超級電腦的數據密集型運算處理性能進行的一個排行榜,在此榜單上排位第一的是IBM紅杉,成績是15,363GTEPS。
“天河二號”的系統存儲總容量相當於600億冊每冊10萬字的圖書。假設每人每秒鐘進行一次運算,“天河二號”運算一小時,相當於 13億人同時用計算器算上1000年。
天河二號超級計算機應用領域
天河二號(7張)
天河二號逐步在生命科學、材料科學、大氣科學、地球物理、宇宙、經濟學,以及大型基因組組裝、基因測序、污染治理等一系列事關國計民生的大科學、大工程中“大顯身手”。此外,國家超算廣州中心積極推動國際交流與合作,利用天河二號為國外研究機構提供高性能計算服務。
據悉,科技部近年不斷加大對超算應用軟件研發的投入。“十二五”以來的相關研發投入已超過2億元。預計“十三五”期間投入將進一步加大。
根據該專項“面向大規模科學計算的高性能多核CPU”課題計劃安排,2011年中國將採用FT-1500CPU構建全自主國產千萬億次計算機——“天河二號”。
藉助天河二號的“計算神功”,國產C919大型客機開展了高精度外流場氣動計算;中科院上海藥物研究所開展了75萬個小分子化合物的結合親和力評估,完成了600多個各類藥物的體內外活性測試評價。天河二號適配了廣州市電子政務數據管理系統和雲盤存儲系統等,為智慧城市建設搭建高效可靠的承載平台……
天河二號超級計算機前景展望
目標是到2020年,形成中國高端通用芯片和基礎軟件產品的自主研發與產業體系。面向3G移動通信網絡的智能手機嵌入式軟件平台以及3G應用網絡化運行平台的研發及產業化,"核高基"專項安排了"智能手機嵌入式軟件平台研發及產業化"和"面向新型網絡應用模式的網絡化操作系統"課題,已經取得較大進展。”
[10]
天河二號超級計算機所獲榮譽
- 排名第一
- 二連冠
2013年,在德國萊比錫舉辦的2013年度全球超級計算機技術大會,負責調查有關全球各國研發大型超級計算機排行情況的國際大型超級計算機TOP 500組織,公佈了最新全球超級計算機TOP 500強排行榜榜單;在本次大會上由中國政府國家科技部與中國國防科學技術大學共同研製的名為“天河二號(”又稱銀河2號)的大型超級計算機以每秒3.386×1016次的浮點運算速度成為全球最快的超級計算機。
- 三連冠
2014年6月,由國防科技大學研製並落户國家超級計算廣州中心的天河二號超級計算機,23日再次榮登全球超級計算機500強排行榜榜首,獲得世界超算“三連冠”。天河二號超級計算機是國防科技大學承擔的國家“863”計劃和“核高基”國家科技重大專項項目。
- 四連冠
2014年11月,在美國新奧爾良市召開的世界超級計算機大會上,天河二號在國際TOP500組織首次正式發佈的超級計算機高性能測試排行榜上位居世界第一。此前,由該組織發佈的第44屆世界超級計算機500強排行榜中,天河二號以峯值計算速度達每秒5.49×1016次、持續計算速度達每秒3.39×1016次位居榜首,獲得“四連冠”。
- 五連冠
2015年7月13日,國際TOP500組織在德國舉行了2015年國際超級計算機大會,並在大會上發佈全球超級計算機500強最新榜單,中國“天河二號”以每秒3.386×1016次的浮點運算速度第五次蟬聯冠軍,獲得“五連冠”。
- 六連冠
2015年10月16日,新一期全球超級計算機500強榜單在美國公佈,“天河二號”超級計算機以每秒3.386×1016次連續第六度稱雄。
- 讓路神威
2016年6月20日,新一期全球超級計算機500強榜單公佈,使用中國自主芯片製造的“神威太湖之光”取代“天河二號”登上榜首,中國超算上榜總數量也有史以來首次超過美國名列第一。
據國際TOP500組織當天發佈的榜單,“神威太湖之光”的浮點運算速度為每秒9.3×1016次,不僅速度比第二名“天河二號”快出近兩倍,其效率也提高3倍。更重要的是,與“天河二號”使用英特爾芯片不一樣,“神威太湖之光”使用的是中國自主知識產權的芯片。
- 蟬聯亞軍
2017年11月13日,新一期全球超級計算機500強榜單發佈,中國超級計算機“神威·太湖之光”和“天河二號”連續第四次分列冠亞軍,且中國超級計算機上榜總數又一次反超美國,奪得第一。此次中國“神威·太湖之光”和“天河二號”再次領跑,其浮點運算速度分別為每秒9.3×1016次和每秒3.39×1016次。
- 第四名
第五名
天河二號超級計算機存在問題
速度第一效率落後
天河二號的實用性、效率難令人滿意。,2014年6月公佈的世界超算500強天河二號計算效率為61.7%,效率排名第一的IBM nx360M4效率高達99.8%,速度排名第四的日本k計算機以93.2%效率排名效率第十八。
[15]
高性能處理器缺少
2015年4月9日,美國商務部發佈報告,決定拒絕英特爾公司向中國的國家超級計算廣州中心出售至強芯片用於天河二號系統升級的申請。國家超級計算長沙中心、廣州中心、天津中心和國防科技大學四家國家超算中心被列入出口管制名單。
[16]
天河二號超級計算機社會評價
電機電子工程師學會認為天河二號的落成以及重登TOP500第一“標誌着中國堅定承諾將在超級電腦領域發起一輪軍備競賽”。截至2020年06月23日,中華人民共和國擁有226台超級計算機,排名世界第一。
[18]
天河二號超級計算機世界紀錄
- 參考資料
-
- 1. Differential neutrino condensation onto cosmic structure .Nature Astronomy.2017-06-05
- 2. 全球超級計算機榜單出爐 中國超算蟬聯上榜數量第一 .中國新聞網[引用日期2019-11-19]
- 3. “天河二號”超級計算機獲核心關鍵技術突破 .騰訊.2013-06-17[引用日期2013-06-18]
- 4. 中國“天河二號”完成宇宙暗物質數值模擬 可推演137億年宇宙歷史 .觀察者[引用日期2015-05-14]
- 5. “天河二號”算出量子霸權標準 .新華網[引用日期2018-09-12]
- 6. 國際領先!“天河二號”算出量子霸權標準 .環球網[引用日期2019-11-05]
- 7. 解讀天河2號 尋求超算Top500新突破 .IT168.2013-06-05[引用日期2013-09-13]
- 8. 天河二號峯值計算速度每秒5.49億億次 .中國網絡電視台.2013-06-17[引用日期2013-09-13]
- 9. 世界第一超級計算機和Ubuntu在一起 .IT之家.2014-5-19[引用日期2014-06-13]
- 10. 中國“天河二號”成為全球最快超級計算機 .鳳凰網.20130617[引用日期2013-06-17]
- 11. “天河二號”耗資約1億美元 應用能力與美國差距大 .鳳凰網[引用日期2013-06-18]
- 12. 太湖之光”獲世界超算冠軍 中國連續4年摘冠 .中華網[引用日期2016-11-15]
- 13. 中國超算三奪世界冠亞軍 美國跌出前三正憋大招 .鳳凰網資訊[引用日期2017-06-19]
- 14. TOP500新一期榜單公佈 ARM超算Fugaku首次奪冠 .新浪[引用日期2020-06-24]
- 15. Efficiency, Power, Cores... .top500.2014-6[引用日期2014-09-18]
- 16. 天河二號被禁購,內幕在這裏! .電子發燒友[引用日期2015-04-20]
- 17. TIANHE-2 (MILKYWAY-2) - TH-IVB-FEP CLUSTER, INTEL XEON E5-2692 12C 2.200GHZ, TH EXPRESS-2, INTEL XEON PHI 31S1P .top500[引用日期2015-06-28]
- 18. 超級計算機強榜單公佈 中國超算數量位列第一--產經--人民網 .人民網.2020-06-23[引用日期2021-04-11]
- 19. November 2021 | TOP500 .TOP500[引用日期2022-02-22]
- 20. 全球超算最新排名:美國“百億億次計算機”首度露臉 歐洲進步迅速|超算|日本|計算機 .新浪[引用日期2022-05-31]
- 收起