亚洲第一福利视频,欧美黑人粗大xxxxpp,国内精品一区二区三区,国产精品久久久久影院色

智快網(wǎng) - 新科技與新能源行業(yè)網(wǎng)絡(luò)媒體

科大訊飛華為聯(lián)手,國產(chǎn)算力集群推理取得重大突破!

   發(fā)布時間:2025-03-11 16:20 作者:蘇婉清

科大訊飛與華為攜手,在國產(chǎn)算力領(lǐng)域邁出了重要一步。近日,雙方聯(lián)合宣布,在MoE模型的大規(guī)模跨節(jié)點專家并行集群推理方面取得了突破性進展。這一成果不僅標(biāo)志著國產(chǎn)算力在AI領(lǐng)域的一次飛躍,也預(yù)示著未來智能計算的新篇章。

此次合作的亮點在于,雙方團隊通過軟硬件的深度協(xié)同創(chuàng)新,成功挖掘了硬件的極致潛力。特別是在昇騰集群上的驗證和部署過程中,團隊在算子融合方面取得了顯著成果。通過MLA預(yù)處理階段的Vector與Cube異構(gòu)計算單元并行流水,以及將多個小算子融合重構(gòu)為原子級計算單元,團隊成功消除了小算子下發(fā)的開銷,MLA前處理時延降低了50%以上,性能得到了大幅提升。

在混合并行策略和通信計算并行優(yōu)化方面,科大訊飛與華為的團隊也展現(xiàn)出了卓越的創(chuàng)新力。他們構(gòu)建了TP(張量并行)+EP(專家并行)的混合范式,對MLA計算層采用機內(nèi)TP并行,充分發(fā)揮了機內(nèi)高速互聯(lián)的優(yōu)勢,降低了跨機通信的損耗。同時,團隊還創(chuàng)新性地進行了MoE專家分層調(diào)度,64卡均衡分配專家計算節(jié)點,并定制了AllToAll通信協(xié)議,使得專家數(shù)據(jù)交換效率提升了40%。通過構(gòu)建跨機/機內(nèi)雙層通信架構(gòu),團隊實現(xiàn)了分層優(yōu)化,降低了跨機流量60%。他們還研發(fā)了路由專家負(fù)載均衡算法,使得卡間負(fù)載差異小于10%,集群吞吐提升了30%。

這一系列的創(chuàng)新使得國產(chǎn)算力在分布式架構(gòu)與算法協(xié)同優(yōu)化方面取得了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機部署的1/4,效率提升了75%,專家計算密度增加了4倍,推理吞吐提升了3.2倍,端到端時延降低了50%。這些成果無疑為國產(chǎn)算力在AI領(lǐng)域的應(yīng)用打開了新的大門。

科大訊飛研究院表示,這一突破性的解決方案將廣泛應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速中。預(yù)計訓(xùn)練時的推理效率將提升200%,同時基于該方案的推理引擎也將在國產(chǎn)算力上實現(xiàn)DeepSeek V3和R1的高效推理。這無疑將進一步提升科大訊飛在AI領(lǐng)域的競爭力。

科大訊飛深度推理大模型星火X1也完成了升級。在模型參數(shù)量比業(yè)界同行少一個數(shù)量級的情況下,星火X1的數(shù)學(xué)能力已經(jīng)全面對標(biāo)DeepSeek R1和OpenAI o1,在中文數(shù)學(xué)各項任務(wù)中均實現(xiàn)了領(lǐng)先。這一成果不僅展示了科大訊飛在AI領(lǐng)域的深厚底蘊,也為其未來的發(fā)展奠定了堅實的基礎(chǔ)。

科大訊飛與華為的這一合作不僅是一次技術(shù)上的突破,更是國產(chǎn)算力在AI領(lǐng)域崛起的重要標(biāo)志。隨著雙方合作的不斷深入,相信未來會有更多令人矚目的成果涌現(xiàn)。

雙方團隊在合作過程中展現(xiàn)出的創(chuàng)新精神和協(xié)作能力也值得稱贊。他們通過深度協(xié)同創(chuàng)新,成功挖掘了硬件的極致潛力,為國產(chǎn)算力的發(fā)展注入了新的活力。相信在未來的合作中,雙方將繼續(xù)攜手前行,共同推動國產(chǎn)算力在AI領(lǐng)域的蓬勃發(fā)展。

 
 
更多>同類內(nèi)容
全站最新
熱門內(nèi)容
本欄最新
 
智快科技微信賬號
微信群

微信掃一掃
加微信拉群
電動汽車群
科技數(shù)碼群