記憶體殺手?新技術讓多頭丟盔棄甲
(彭博社資料照片)
TurboQuant的效率提升真正威脅是NAND快閃記憶體
分析師也很快意識到,並非所有記憶體市場領域都同樣感到恐慌,TurboQuant的效率提升僅限於推論和鍵值快取,這代表真正的威脅來自NAND快閃記憶體,而非高頻寬記憶體(HBM)。
HBM是輝達AI加速器的核心零件,也為微軟(Microsoft)、Meta等公司的訓練基礎設施提供動力。彭博產業研究分析師希爾佛曼(Jake Silverman)撰文指出,由於需要將模型權重儲存在GPU記憶體中,HBM的需求以及美光生產的DRAM需求可能不會受到影響,NAND的需求將面臨更深遠的長期影響。
大摩分析師表示,TurboQuant透過減少記憶體使用和數據傳出,明顯提升了推論效率,但他並沒有降低對HBM等核心記憶體的需求。
韓媒也認為,該國兩大記憶體廠商叁星電子Samsung Electronics)和SK海力士(SK Hynix)預計將受惠於TurboQuant技術商業化。叁星證券研究員表示,如果采用TurboQuant演算法,可以降低推論成本,需求將爆炸性成長。
[加西網正招聘多名全職sales 待遇優]
這條新聞還沒有人評論喔,等著您的高見呢
TurboQuant的效率提升真正威脅是NAND快閃記憶體
分析師也很快意識到,並非所有記憶體市場領域都同樣感到恐慌,TurboQuant的效率提升僅限於推論和鍵值快取,這代表真正的威脅來自NAND快閃記憶體,而非高頻寬記憶體(HBM)。
HBM是輝達AI加速器的核心零件,也為微軟(Microsoft)、Meta等公司的訓練基礎設施提供動力。彭博產業研究分析師希爾佛曼(Jake Silverman)撰文指出,由於需要將模型權重儲存在GPU記憶體中,HBM的需求以及美光生產的DRAM需求可能不會受到影響,NAND的需求將面臨更深遠的長期影響。
大摩分析師表示,TurboQuant透過減少記憶體使用和數據傳出,明顯提升了推論效率,但他並沒有降低對HBM等核心記憶體的需求。
韓媒也認為,該國兩大記憶體廠商叁星電子Samsung Electronics)和SK海力士(SK Hynix)預計將受惠於TurboQuant技術商業化。叁星證券研究員表示,如果采用TurboQuant演算法,可以降低推論成本,需求將爆炸性成長。
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注: | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦:
記憶體殺手?新技術讓多頭丟盔棄甲