網(wǎng)上營(yíng)業(yè)廳
掌上營(yíng)業(yè)廳
隨著人工智能業(yè)界大模型從稠密架構(gòu)向以DeepSeek為代表的多專家混合模型（MoE）架構(gòu)演進(jìn)，基于高端智算能力的云上推理成為當(dāng)前技術(shù)演進(jìn)的趨勢(shì)和必然需求，高效率推理性能成為智算資源提供領(lǐng)先者的核心競(jìng)爭(zhēng)力。
近期，中國(guó)電信廣東公司聯(lián)合電信研究院、華為公司，基于中國(guó)電信粵港澳大灣區(qū)（韶關(guān)）算力集群已上線的全球首個(gè)商用昇騰超節(jié)點(diǎn)智算集群，采用電信研究院自研“翼芯”智算測(cè)試與適配優(yōu)化平臺(tái)，針對(duì)多種推理場(chǎng)景開展了大模型性能優(yōu)化及測(cè)試。通過對(duì)主流模型與超節(jié)點(diǎn)系統(tǒng)迭代適配調(diào)優(yōu)，不同場(chǎng)景下的推理性能均實(shí)現(xiàn)了大幅提升；其中DeepSeek 671B滿血版模型達(dá)到單卡推理吞吐性能2122 Tokens/s，刷新了業(yè)界紀(jì)錄。
圖1：廣東電信超節(jié)點(diǎn)液冷艙
昇騰超節(jié)點(diǎn)系統(tǒng)創(chuàng)新應(yīng)用全總線架構(gòu)，采用高速互連技術(shù)將384張910C智算卡緊密耦合形成大型算力單元。該架構(gòu)在大幅降低模型并行通信時(shí)延的同時(shí)，還需要解決好資源調(diào)度與并行策略設(shè)置復(fù)雜性變高的問題；需要針對(duì)不同業(yè)務(wù)場(chǎng)景的資源和并發(fā)策略進(jìn)行靈活設(shè)置，才能最大發(fā)揮算力單元整體性能，將算力單元與大模型的親和度提升至最佳。
圖2：超節(jié)點(diǎn)物理架構(gòu)
本次中國(guó)電信和華為公司共同合作，完成翼芯測(cè)試平臺(tái)與昇騰384卡超節(jié)點(diǎn)對(duì)接優(yōu)化，針對(duì)13項(xiàng)基準(zhǔn)性能、6類典型場(chǎng)景推理性能，采用5類典型資源配置開展自動(dòng)化測(cè)試；同時(shí)嘗試采用了算子融合替換、PD分離調(diào)度、KV cache優(yōu)化、集合通信優(yōu)化、并行策略優(yōu)化等多維度的調(diào)優(yōu)策略，不斷將吞吐性提升到最大。經(jīng)充分優(yōu)化后，DeepSeek 671B模型在多種場(chǎng)景下的單卡吞吐性能較優(yōu)化前有2.5~4.3倍提升；在保證TTFT為1.28s、TPOT為50ms的服務(wù)質(zhì)量指標(biāo)下，單卡吞吐達(dá)到了2122 Tokens/s，較業(yè)界前期測(cè)試最佳性能提升9.2%。
圖3：超節(jié)點(diǎn)性能優(yōu)化情況
本次超節(jié)點(diǎn)優(yōu)化和性能指標(biāo)刷新，成功體現(xiàn)了中國(guó)電信對(duì)智算系統(tǒng)整體優(yōu)化核心技術(shù)的深刻理解與實(shí)踐創(chuàng)新能力，可以根據(jù)客戶實(shí)際場(chǎng)景性能的需要，靈活配置智算資源池資源，更高效地服務(wù)于復(fù)雜推理、多智能體協(xié)同等新業(yè)務(wù)場(chǎng)景。下一階段中國(guó)電信將開展更多場(chǎng)景的超節(jié)點(diǎn)形態(tài)優(yōu)化研究和驗(yàn)證測(cè)試；在此基礎(chǔ)上，進(jìn)一步匯聚產(chǎn)業(yè)生態(tài)、共建行業(yè)生態(tài)、共享技術(shù)生態(tài)、聚攏開發(fā)者生態(tài)，持續(xù)推動(dòng)國(guó)產(chǎn)智算基礎(chǔ)設(shè)施建設(shè)和技術(shù)創(chuàng)新，全面助力人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展。
新浪微博
今日頭條
騰訊微信
