華為發(fā)布AI推理創(chuàng )新技術(shù)UCM：實(shí)現高吞吐、低時(shí)延推理體驗，降低每Token推理成本
我要評論新浪科技訊 8月12日下午消息，發(fā)布在2025金融A(yíng)I推理應用落地與發(fā)展論壇上，推理吞吐n推華為聯(lián)合中國銀聯(lián)共同發(fā)布AI推理創(chuàng )新技術(shù)UCM（推理記憶數據管理器），創(chuàng )新實(shí)現高吞吐、技術(shù)低時(shí)延的現高推理體驗。
在當今數字化時(shí)代，低時(shí)低AI發(fā)展日新月異。延推驗降大模型訓練的理體理成熱潮尚未消退，AI推理體驗卻已悄然成為AI應用的發(fā)布關(guān)鍵。中信建投在2025WAIC期間發(fā)布的推理吞吐n推白皮書(shū)指出，AI正從訓練向推理的創(chuàng )新結構性轉變而快速增長(cháng)。在這樣的技術(shù)大背景下，AI推理體驗的現高重要性愈發(fā)凸顯。
推理體驗直接關(guān)系到用戶(hù)與AI交互時(shí)的低時(shí)低感受，包括回答問(wèn)題的延推驗降時(shí)延、答案的準確度以及復雜上下文的推理能力等方面。資料顯示，國外主流模型的單用戶(hù)輸出速度已進(jìn)入200 Tokens/s區間（時(shí)延5ms），而我國普遍小于60Tokens/s（時(shí)延50 - 100ms），如何解決推理效率與用戶(hù)體驗的難題迫在眉睫。
據介紹，華為此次發(fā)布的AI推理創(chuàng )新技術(shù)UCM（推理記憶數據管理器），作為一款以KV Cache為中心的推理加速套件，其融合了多類(lèi)型緩存加速算法工具，分級管理推理過(guò)程中產(chǎn)生的KV Cache記憶數據，擴大推理上下文窗口，以實(shí)現高吞吐、低時(shí)延的推理體驗，降低每Token推理成本。
海量資訊、精準解讀，盡在新浪財經(jīng)APP 責任編輯：郭栩彤
相關(guān)文章
中國社會(huì )福利基金會(huì )公布大埔火災募捐進(jìn)展：累計近150萬(wàn)人次捐贈
中國社會(huì )福利基金會(huì )關(guān)于“香港大埔火災緊急救援行動(dòng)”募捐進(jìn)展的公告第3號）一、2025年11月29日0時(shí)至2025年11月30日0時(shí)，24小時(shí)內我會(huì )通過(guò)騰訊公益、支付寶公益、新浪微公益、阿里巴巴公益、易2025-12-01
北京時(shí)間10月5日，蘇格蘭本土球員羅伯特·麥金泰爾連續第三輪打出66桿，在幫助歐洲隊贏(yíng)下萊德杯之后一周，又贏(yíng)得縮短為54洞的登喜路林克斯錦標賽。由于強風(fēng)，星期六未能如期舉辦第三輪，賽事主辦方?jīng)Q定將賽事2025-12-01
2015年聶衛平發(fā)布英雄帖2015年隨著(zhù)聶衛平微博一張“英雄帖”的發(fā)布，商界棋王系列活動(dòng)正式啟動(dòng)。十年來(lái)，五屆比賽，五屆巔峰對決，從北京到臺北，從昆明到曼谷，近百位商界圍棋翹楚參與其中。今年恰逢賽事的2025-12-01
大樂(lè )透14注816萬(wàn)1注追加 福建或爆8165萬(wàn)大獎
大樂(lè )透開(kāi)獎直播截圖北京時(shí)間10月6日晚，體彩大樂(lè )透第25113期開(kāi)獎，當期開(kāi)獎號碼為前區01 14 18 28 35，后區02 03。本期全國共開(kāi)出14注一等獎，單注獎金816萬(wàn)元，其中1注選擇追加，2025-12-01
香港大埔宏福苑火場(chǎng)內部曝光 ，滿(mǎn)目瘡痍、慘不忍睹！警方災難遇害者辨認組DVIU）人員，今日30日）繼續進(jìn)入宏福苑各幢大廈搜索搜證。據了解，在今日接近中午，DVIU人員在宏盛閣發(fā)現遺體。2025-12-01
別克LPGA錦標賽首輪許贏(yíng)領(lǐng)跑中國軍團 殷若寧T45
北京時(shí)間10月9日，2025別克LPGA錦標賽在上海旗忠花園高爾夫俱樂(lè )部結束了首輪的爭奪。泰國選手阿皮奇差婭-尤布Arpichaya Yubol）打出全場(chǎng)最低的64桿，以1桿優(yōu)勢取得單獨領(lǐng)先。中國球員2025-12-01
最新評論