科大訊飛與華為攜手，在國產(chǎn)算力領(lǐng)域邁出了重要一步。近日，雙方聯(lián)合宣布，在MoE模型的大規(guī)模跨節(jié)點專家并行集群推理方面取得了突破性進展。這一成果不僅標志著國產(chǎn)算力在AI領(lǐng)域的一次飛躍，也預示著未來智能計算的新篇章。

此次合作的亮點在于，雙方團隊通過軟硬件的深度協(xié)同創(chuàng)新，成功挖掘了硬件的極致潛力。特別是在昇騰集群上的驗證和部署過程中，團隊在算子融合方面取得了顯著成果。通過MLA預處理階段的Vector與Cube異構(gòu)計算單元并行流水，以及將多個小算子融合重構(gòu)為原子級計算單元，團隊成功消除了小算子下發(fā)的開銷，MLA前處理時延降低了50%以上，性能得到了大幅提升。

在混合并行策略和通信計算并行優(yōu)化方面，科大訊飛與華為的團隊也展現(xiàn)出了卓越的創(chuàng)新力。他們構(gòu)建了TP（張量并行）+EP（專家并行）的混合范式，對MLA計算層采用機內(nèi)TP并行，充分發(fā)揮了機內(nèi)高速互聯(lián)的優(yōu)勢，降低了跨機通信的損耗。同時，團隊還創(chuàng)新性地進行了MoE專家分層調(diào)度，64卡均衡分配專家計算節(jié)點，并定制了AllToAll通信協(xié)議，使得專家數(shù)據(jù)交換效率提升了40%。通過構(gòu)建跨機/機內(nèi)雙層通信架構(gòu)，團隊實現(xiàn)了分層優(yōu)化，降低了跨機流量60%。他們還研發(fā)了路由專家負載均衡算法，使得卡間負載差異小于10%，集群吞吐提升了30%。

這一系列的創(chuàng)新使得國產(chǎn)算力在分布式架構(gòu)與算法協(xié)同優(yōu)化方面取得了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機部署的1/4，效率提升了75%，專家計算密度增加了4倍，推理吞吐提升了3.2倍，端到端時延降低了50%。這些成果無疑為國產(chǎn)算力在AI領(lǐng)域的應用打開了新的大門。

科大訊飛研究院表示，這一突破性的解決方案將廣泛應用于訊飛星火深度推理模型的訓練加速中。預計訓練時的推理效率將提升200%，同時基于該方案的推理引擎也將在國產(chǎn)算力上實現(xiàn)DeepSeek V3和R1的高效推理。這無疑將進一步提升科大訊飛在AI領(lǐng)域的競爭力。

科大訊飛深度推理大模型星火X1也完成了升級。在模型參數(shù)量比業(yè)界同行少一個數(shù)量級的情況下，星火X1的數(shù)學能力已經(jīng)全面對標DeepSeek R1和OpenAI o1，在中文數(shù)學各項任務中均實現(xiàn)了領(lǐng)先。這一成果不僅展示了科大訊飛在AI領(lǐng)域的深厚底蘊，也為其未來的發(fā)展奠定了堅實的基礎(chǔ)。

科大訊飛與華為的這一合作不僅是一次技術(shù)上的突破，更是國產(chǎn)算力在AI領(lǐng)域崛起的重要標志。隨著雙方合作的不斷深入，相信未來會有更多令人矚目的成果涌現(xiàn)。

雙方團隊在合作過程中展現(xiàn)出的創(chuàng)新精神和協(xié)作能力也值得稱贊。他們通過深度協(xié)同創(chuàng)新，成功挖掘了硬件的極致潛力，為國產(chǎn)算力的發(fā)展注入了新的活力。相信在未來的合作中，雙方將繼續(xù)攜手前行，共同推動國產(chǎn)算力在AI領(lǐng)域的蓬勃發(fā)展。