華為在近期的一次重要宣布中,正式揭開了其在大模型技術領域的又一里程碑。此次,華為不僅推出了盤古70億參數的稠密模型,還帶來了盤古Pro MoE這一擁有720億參數的混合專家模型,并配套發布了基于昇騰的模型推理技術。
這一系列的開源舉措,被視為華為在推動昇騰生態戰略實施過程中的又一重要步驟。通過這些努力,華為旨在加速大模型技術的創新與發展,進一步拓寬人工智能技術在各行各業的應用邊界,從而創造更大的價值。
目前,盤古Pro MoE 72B模型的權重和基礎推理代碼已經成功上線至開源平臺,供全球開發者免費下載和使用。與此同時,基于昇騰的超大規模MoE模型推理代碼也已同步上線,為開發者提供了強大的推理能力支持。
值得注意的是,盤古7B的相關模型權重與推理代碼也即將在近期上線開源平臺。這意味著,開發者將能夠擁有更多選擇,根據實際需求選用不同規模和性能的模型。
在華為此次推出的模型中,盤古Embedded 7B模型以其獨特的雙系統框架和元認知能力脫穎而出。該模型能夠根據任務復雜度自動切換推理模式,從而在保證推理速度的同時,兼顧推理深度。在多項復雜推理基準測試中,盤古Embedded 7B模型的表現甚至超越了同量級的Qwen3-8B和GLM4-9B等模型。
而盤古Pro MoE 72B模型則采用了分組混合專家(MoGE)架構,總參數量高達720億,但激活參數量僅為160億。這一設計有效解決了專家負載不均的問題,提高了模型的部署效率。同時,針對昇騰硬件的深度優化,使得該模型在推理速度上達到了新的高度,最高單卡可達1528 tokens/s。在多項公開基準測試中,盤古Pro MoE 72B模型均表現出色,性能優于同規模的稠密模型。
華為官方表示,他們誠摯邀請全球的開發者、企業伙伴及研究人員下載并使用這些模型,同時期待收到大家的寶貴反饋,以便共同完善和提升這些技術。