在近日中國(guó)信通院基于AISHPerf人工智能軟硬件基準(zhǔn)體系開(kāi)展的DeepSeek大模型適配測(cè)試中,中國(guó)電信表現(xiàn)尤為亮眼。其星辰MaaS平臺(tái)成為本次唯一通過(guò)測(cè)試的運(yùn)營(yíng)商平臺(tái),且十項(xiàng)功能全達(dá)標(biāo),適配易用性等多項(xiàng)能力獲“高級(jí)”評(píng)價(jià),充分彰顯了中國(guó)電信在AI領(lǐng)域的強(qiáng)大技術(shù)實(shí)力。
此次測(cè)試依據(jù)《人工智能基礎(chǔ)共性面向大模型的軟硬件系統(tǒng)適配能力評(píng)估方法》組織開(kāi)展。從適配支持性、推理性能、產(chǎn)品功能三大維度展開(kāi),結(jié)合并發(fā)數(shù)等關(guān)鍵指標(biāo)模擬多種真實(shí)應(yīng)用場(chǎng)景,為行業(yè)技術(shù)選型提供參考,并推動(dòng)國(guó)產(chǎn)AI生態(tài)發(fā)展,吸引了眾多企業(yè)參與。
中國(guó)電信星辰MaaS平臺(tái)能在本次測(cè)試中脫穎而出,源于其在核心表現(xiàn)上的全面優(yōu)勢(shì):
· 適配支持性
星辰MaaS平臺(tái)兼容進(jìn)口及多品牌國(guó)產(chǎn)化算力,并適配40+主流大模型。在開(kāi)源測(cè)試數(shù)據(jù)集C-Eval、MMLU中,DeepSeek模型精度與官方差距≤5%,吞吐≥15Token/s。
· 推理性能
支持多精度推理,在兩機(jī)十六卡環(huán)境,輸入、輸出長(zhǎng)度均為256條件下,在線多用戶并發(fā)為數(shù)64時(shí),輸出吞吐>700Token/s,首字延遲<4s,每Token延遲<70ms;離線單用戶BatchSize為128時(shí),DeepSeek模型輸出吞吐>1100Tokens/s。
· 產(chǎn)品功能
具備可視化工具快速接入、3種優(yōu)化策略及多形態(tài)產(chǎn)品化服務(wù)能力。
此次通過(guò)測(cè)試,是星辰MaaS平臺(tái)技術(shù)實(shí)力的有力證明,也是中國(guó)電信在人工智能領(lǐng)域領(lǐng)先地位的展現(xiàn)。
中國(guó)電信星辰MaaS平臺(tái)以大模型、算力和數(shù)據(jù)集為核心,構(gòu)建起一個(gè)開(kāi)放、合作的AI大模型生態(tài),通過(guò)自研與開(kāi)放合作的生態(tài)能力,為行業(yè)客戶提供端到端的專業(yè)可靠、服務(wù)保障的大模型解決方案。
· 在能力構(gòu)建上
它提供“評(píng)-選-部-數(shù)-訓(xùn)-推-用”的端到端大模型解決方案,一站式滿足用戶多云算力調(diào)度、大模型選配、應(yīng)用場(chǎng)景創(chuàng)新的需求。從算力納管到算力調(diào)度,從模型訓(xùn)推到模型部署發(fā)布,再到智能體在線設(shè)計(jì)與發(fā)布體驗(yàn),全方位覆蓋客戶在AI領(lǐng)域的多樣化需求。
· 在生態(tài)協(xié)同層面
星辰MaaS平臺(tái)建立起標(biāo)準(zhǔn)化的準(zhǔn)入準(zhǔn)出機(jī)制,積極兼容多行業(yè)伙伴不同層次的產(chǎn)品和能力,以開(kāi)放的姿態(tài)與各方攜手,共同推進(jìn)大模型技術(shù)在各行業(yè)的落地應(yīng)用。
· 從應(yīng)用場(chǎng)景來(lái)看
星辰MaaS平臺(tái)引入推理加速框架和多體系優(yōu)化技術(shù),支持算力+平臺(tái)的一鍵式方案,大大簡(jiǎn)化了模型的訓(xùn)練、部署、微調(diào)、測(cè)試流程,賦能政務(wù)、文宣、農(nóng)業(yè)等各個(gè)行業(yè)應(yīng)用。例如對(duì)DeepSeek-R1的接入與優(yōu)化,平臺(tái)不僅支持其全版本、全尺寸、全功能使用,還基于國(guó)產(chǎn)算力和國(guó)產(chǎn)推理框架對(duì)其進(jìn)行深度調(diào)優(yōu),在推理速度、精度以及資源利用效率上實(shí)現(xiàn)顯著提升,讓普通用戶也能夠輕松借助平臺(tái)開(kāi)發(fā)智能體,將大模型技術(shù)靈活應(yīng)用到實(shí)際業(yè)務(wù)場(chǎng)景中。
未來(lái),星辰MaaS平臺(tái)將持續(xù)創(chuàng)新
不斷拓展生態(tài)邊界,攜手更多合作伙伴
為用戶帶來(lái)更多價(jià)值
共同書(shū)寫AI時(shí)代的輝煌篇章