科大訊飛與華為攜手，在國(guó)產(chǎn)算力領(lǐng)域邁出了重要一步。近日，雙方聯(lián)合宣布，在MoE模型的大規(guī)模跨節(jié)點(diǎn)專家并行集群推理方面取得了突破性進(jìn)展。這一成果不僅標(biāo)志著國(guó)產(chǎn)算力在AI領(lǐng)域的一次飛躍，也預(yù)示著未來智能計(jì)算的新篇章。

此次合作的亮點(diǎn)在于，雙方團(tuán)隊(duì)通過軟硬件的深度協(xié)同創(chuàng)新，成功挖掘了硬件的極致潛力。特別是在昇騰集群上的驗(yàn)證和部署過程中，團(tuán)隊(duì)在算子融合方面取得了顯著成果。通過MLA預(yù)處理階段的Vector與Cube異構(gòu)計(jì)算單元并行流水，以及將多個(gè)小算子融合重構(gòu)為原子級(jí)計(jì)算單元，團(tuán)隊(duì)成功消除了小算子下發(fā)的開銷，MLA前處理時(shí)延降低了50%以上，性能得到了大幅提升。

在混合并行策略和通信計(jì)算并行優(yōu)化方面，科大訊飛與華為的團(tuán)隊(duì)也展現(xiàn)出了卓越的創(chuàng)新力。他們構(gòu)建了TP（張量并行）+EP（專家并行）的混合范式，對(duì)MLA計(jì)算層采用機(jī)內(nèi)TP并行，充分發(fā)揮了機(jī)內(nèi)高速互聯(lián)的優(yōu)勢(shì)，降低了跨機(jī)通信的損耗。同時(shí)，團(tuán)隊(duì)還創(chuàng)新性地進(jìn)行了MoE專家分層調(diào)度，64卡均衡分配專家計(jì)算節(jié)點(diǎn)，并定制了AllToAll通信協(xié)議，使得專家數(shù)據(jù)交換效率提升了40%。通過構(gòu)建跨機(jī)/機(jī)內(nèi)雙層通信架構(gòu)，團(tuán)隊(duì)實(shí)現(xiàn)了分層優(yōu)化，降低了跨機(jī)流量60%。他們還研發(fā)了路由專家負(fù)載均衡算法，使得卡間負(fù)載差異小于10%，集群吞吐提升了30%。

這一系列的創(chuàng)新使得國(guó)產(chǎn)算力在分布式架構(gòu)與算法協(xié)同優(yōu)化方面取得了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機(jī)部署的1/4，效率提升了75%，專家計(jì)算密度增加了4倍，推理吞吐提升了3.2倍，端到端時(shí)延降低了50%。這些成果無疑為國(guó)產(chǎn)算力在AI領(lǐng)域的應(yīng)用打開了新的大門。

科大訊飛研究院表示，這一突破性的解決方案將廣泛應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速中。預(yù)計(jì)訓(xùn)練時(shí)的推理效率將提升200%，同時(shí)基于該方案的推理引擎也將在國(guó)產(chǎn)算力上實(shí)現(xiàn)DeepSeek V3和R1的高效推理。這無疑將進(jìn)一步提升科大訊飛在AI領(lǐng)域的競(jìng)爭(zhēng)力。

科大訊飛深度推理大模型星火X1也完成了升級(jí)。在模型參數(shù)量比業(yè)界同行少一個(gè)數(shù)量級(jí)的情況下，星火X1的數(shù)學(xué)能力已經(jīng)全面對(duì)標(biāo)DeepSeek R1和OpenAI o1，在中文數(shù)學(xué)各項(xiàng)任務(wù)中均實(shí)現(xiàn)了領(lǐng)先。這一成果不僅展示了科大訊飛在AI領(lǐng)域的深厚底蘊(yùn)，也為其未來的發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。

科大訊飛與華為的這一合作不僅是一次技術(shù)上的突破，更是國(guó)產(chǎn)算力在AI領(lǐng)域崛起的重要標(biāo)志。隨著雙方合作的不斷深入，相信未來會(huì)有更多令人矚目的成果涌現(xiàn)。

雙方團(tuán)隊(duì)在合作過程中展現(xiàn)出的創(chuàng)新精神和協(xié)作能力也值得稱贊。他們通過深度協(xié)同創(chuàng)新，成功挖掘了硬件的極致潛力，為國(guó)產(chǎn)算力的發(fā)展注入了新的活力。相信在未來的合作中，雙方將繼續(xù)攜手前行，共同推動(dòng)國(guó)產(chǎn)算力在AI領(lǐng)域的蓬勃發(fā)展。