科大訊飛與華為攜手，在國產(chǎn)算力領(lǐng)域邁出了重要一步。近日，雙方聯(lián)合宣布，在MoE模型的大規(guī)模跨節(jié)點專家并行集群推理方面取得了突破性進展。這一成果不僅標志著國產(chǎn)算力在AI領(lǐng)域的一次飛躍，也預(yù)示著未來智能計算的新篇章。

此次合作的亮點在于，雙方團隊通過軟硬件的深度協(xié)同創(chuàng)新，成功挖掘了硬件的極致潛力。特別是在昇騰集群上的驗證和部署過程中，團隊在算子融合方面取得了顯著成果。通過MLA預(yù)處理階段的Vector與Cube異構(gòu)計算單元并行流水，以及將多個小算子融合重構(gòu)為原子級計算單元，團隊成功消除了小算子下發(fā)的開銷，MLA前處理時延降低了50%以上，性能得到了大幅提升。

在混合并行策略和通信計算并行優(yōu)化方面，科大訊飛與華為的團隊也展現(xiàn)出了卓越的創(chuàng)新力。他們構(gòu)建了TP（張量并行）+EP（專家并行）的混合范式，對MLA計算層采用機內(nèi)TP并行，充分發(fā)揮了機內(nèi)高速互聯(lián)的優(yōu)勢，降低了跨機通信的損耗。同時，團隊還創(chuàng)新性地進行了MoE專家分層調(diào)度，64卡均衡分配專家計算節(jié)點，并定制了AllToAll通信協(xié)議，使得專家數(shù)據(jù)交換效率提升了40%。通過構(gòu)建跨機/機內(nèi)雙層通信架構(gòu)，團隊實現(xiàn)了分層優(yōu)化，降低了跨機流量60%。他們還研發(fā)了路由專家負載均衡算法，使得卡間負載差異小于10%，集群吞吐提升了30%。

這一系列的創(chuàng)新使得國產(chǎn)算力在分布式架構(gòu)與算法協(xié)同優(yōu)化方面取得了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機部署的1/4，效率提升了75%，專家計算密度增加了4倍，推理吞吐提升了3.2倍，端到端時延降低了50%。這些成果無疑為國產(chǎn)算力在AI領(lǐng)域的應(yīng)用打開了新的大門。

科大訊飛研究院表示，這一突破性的解決方案將廣泛應(yīng)用于訊飛星火深度推理模型的訓練加速中。預(yù)計訓練時的推理效率將提升200%，同時基于該方案的推理引擎也將在國產(chǎn)算力上實現(xiàn)DeepSeek V3和R1的高效推理。這無疑將進一步提升科大訊飛在AI領(lǐng)域的競爭力。

科大訊飛深度推理大模型星火X1也完成了升級。在模型參數(shù)量比業(yè)界同行少一個數(shù)量級的情況下，星火X1的數(shù)學能力已經(jīng)全面對標DeepSeek R1和OpenAI o1，在中文數(shù)學各項任務(wù)中均實現(xiàn)了領(lǐng)先。這一成果不僅展示了科大訊飛在AI領(lǐng)域的深厚底蘊，也為其未來的發(fā)展奠定了堅實的基礎(chǔ)。

科大訊飛與華為的這一合作不僅是一次技術(shù)上的突破，更是國產(chǎn)算力在AI領(lǐng)域崛起的重要標志。隨著雙方合作的不斷深入，相信未來會有更多令人矚目的成果涌現(xiàn)。

雙方團隊在合作過程中展現(xiàn)出的創(chuàng)新精神和協(xié)作能力也值得稱贊。他們通過深度協(xié)同創(chuàng)新，成功挖掘了硬件的極致潛力，為國產(chǎn)算力的發(fā)展注入了新的活力。相信在未來的合作中，雙方將繼續(xù)攜手前行，共同推動國產(chǎn)算力在AI領(lǐng)域的蓬勃發(fā)展。