華為將發(fā)布AI推理創(chuàng)新技術(shù)UCM 實現(xiàn)高吞吐、低時延體驗
2025-08-12 13:28   
來源: 云財經(jīng)   
影響力評估指數(shù):19.04  
相關(guān)股票:
云財經(jīng)訊,8月12日,在2025金融A(150157)I推理應(yīng)用落地與發(fā)展論壇上,華為將發(fā)布AI推理創(chuàng)新技術(shù)UCM(推理記憶數(shù)據(jù)管理器)。作為一款以KV Cache為中心的推理加速套件,其融合了多類型緩存加速算法工具,分級管理推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù),擴大了推理上下文窗口,以實現(xiàn)高吞吐、低時延的推理體驗,降低每Tokenr的推理成本。(上證報)
云財經(jīng)智能匹配相關(guān)概念
| 新聞標題 | 時間 | 消息來源 | 新聞熱度 |
|---|---|---|---|
| 如何通過BOLL指標做自動買賣策略 | 10-31 18:03 | 量化學(xué)院 |
|
| 看圖:俄羅斯和澳大利亞未開采黃金儲量并列全球第一 | 10-31 15:42 | 云財經(jīng) |
|
| 5 家券商前三季凈利破百億 中信與國泰海通超200億 | 10-30 20:07 | 云財經(jīng) |
|
| 華立股份:擬收購中科匯聯(lián)51%的股份 | 10-29 22:37 | 云財經(jīng) |
|
| 邦彥技術(shù):擬300萬美元設(shè)立新加坡全資子公司拓展海外市場 | 10-29 17:02 | 云財經(jīng) |
|
| 嘉必優(yōu)三季報:凈利潤同比增長54%,毛利率創(chuàng)階段性新高 | 10-28 17:10 | 商業(yè)新聞 |
|