中新網(wǎng)廣東新聞6月20日電 (記者 索有為)華為開發(fā)者大會2025于20日在東莞籃球中心揭幕,基于CloudMatrix384超節(jié)點的新一代昇騰AI云服務全面上線,盤古大模型5.5正式發(fā)布。
華為常務董事、華為云計算CEO張平安稱,新一代昇騰AI云服務首創(chuàng)將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網(wǎng)絡MatrixLink全對等互聯(lián),形成一臺超級“AI服務器”,單卡推理吞吐量躍升到2300 Tokens/s,與非超節(jié)點相比提升近4倍。超節(jié)點架構能更好地支持混合多專家MoE大模型的推理,可以實現(xiàn)“一卡一專家”,一個超節(jié)點可以支持384個專家并行推理,極大提升效率;還可以支持“一卡一算子任務”,靈活分配資源,提升任務并行處理,減少等待,將算力有效使用率提升50%以上。對于萬億、十萬億參數(shù)的大模型訓練任務,在云數(shù)據(jù)中心,還能將432個超節(jié)點級聯(lián)成最高16萬卡的超大集群。
當前,昇騰AI云服務已為科大訊飛、新浪、硅基流動、面壁智能、中科院、360等超過1300家客戶提供AI算力,加速千行萬業(yè)智能化升級。
盤古大模型5.5全面升級盤古自然語言處理NLP大模型、多模態(tài)大模型、預測大模型、科學計算大模型、計算機視覺CV大模型等五大基礎模型。盤古大模型基于昇騰云的全棧軟硬件訓練,標志著基于昇騰可以打造出世界一流大模型。同時在高效長序列、低幻覺、快慢思考融合、Agent等特性上進行升級。
華為諾亞方舟實驗室主任王云鶴盤古大模型的使命是讓各個行業(yè)不必重復“造輪子”,不必從零打造自己的企業(yè)大模型。
華為云還打造AI Native的云,讓客戶更便捷加速智能化。(完)