記憶體殺手?新技術讓多頭丟盔棄甲
科技大廠Google日前發表最新AI壓縮技術TurboQuant，這項可以將AI模型中在推論過程中所需的記憶體大幅減少，這壹消息傳出後震撼了業界，也讓市場開始質疑記憶體芯片的榮景是否能夠延續。
TurboQuant是壹種旨在解決“鍵值快取（Key-Value Cache）”瓶頸問題的演算法，Google將鍵值快取描述為“數位作弊表”，他實際上充當了AI模型的短期記憶。每當大型語言模型處理壹段對話時，都會將過去的計算結果儲存在這個快取中，這樣就無需從頭開始計算。
隨著對話愈長，這份表就愈大，占用GPU（圖型處理器）記憶體的速度就愈快。雖然可以透過壓縮資訊來增加這張“作弊表”的容量，但他仍會很快被填滿，然而，壓縮可能會導致模型出現“幻覺”或是出錯。
TurboQuant旨在解決其中的壹些問題，Google研究人員表示，TurboQuant將AI模型中的鍵值記憶體大小減少了至少6倍，並將速度提高了8倍，且不影響模型准確性。
市場聽說AI相關的記憶體使用量減少了6倍，這可能會讓那些從記憶體類股熱潮中獲利的投資人感到擔憂，因為這些公司的漲勢是建立在AI對記憶體處理器和儲存容量不斷成長的需求之上。
Evercore分析師達裡亞納尼（Amit Daryanani）指出，Google推出的TurboQuant為大幅降低AI工作負載的記憶體提供了壹條途徑。如果TurboQuant能夠獲得顯著發展，可能會對DRAM（動態隨機存取記憶體）和NAND（儲存型快閃記憶體）等記憶體的長期需求預期構成壓力。
美光單周市值蒸發700億美元
受到Google最新技術的打擊，美國記憶體芯片股單周市值蒸發近1000億美元。
其中以美國記憶體大廠美光科技表現最慘烈，單周市值蒸發超過700億美元，跌幅達15％。去年，標普500指數當中表現最好的快閃記憶體制造商晟碟（SanDisk）單周市值蒸發約150億美元；記憶體公司威騰電子（Western Digital）和希捷（Seagate）市值也分別蒸發了數拾億美元。
加州資產管理公司Informed Momentum Company投資長普倫帝斯（Travis Prentice）表示，這些股票已經經歷了巨大的上漲，因此任何微小的消息都可能導致股價下跌，這是合乎邏輯的情況。
普倫帝斯補充，記憶體類股的上漲行情看起來還沒有結束，但市場預期很高，因此獲利了結是明智之舉，尤其是在當前動蕩的市場環境下。
效能更強的AI模型需用更多記憶體
專家表示，雖然TurboQuant技術可以減少記憶體使用量，但對記憶體需求減緩的擔憂有些過頭了。普遍觀點認為，盡管Google宣布記憶體使用量可能減少，但這將推動AI技術的進步和普及。因此，TurboQuant技術出現實際上代表芯片需求增加，而不是減少。
壹些分析人士指出，提高資源利用率往往會導致資源消耗增加，因為效率提升會開啟以前不存在的用途。
摩根大通（JPMorgan）報告就提到了這壹論點，報告中認為，記憶體消耗短期內不會受到威脅。 SemiAnalysis分析師也提到，解決瓶頸問題可以提升AI硬體的效能，而效能更強的模型最終需要的是更多的記憶體，而不是更少記憶體。
摩根士丹利（Morgan Stanley）分析師在報告中寫道，TurboQuant等效率提升技術可以減少運行AI模型所需的基礎設施。如果模型能夠在不損失性能的前提下，大幅降低記憶體需求，那麼每次查詢的服務成本將明顯下降，進而提升AI的盈利能力。原本需要雲端叢集的模型現在可以部署在當地的硬體上，有效降低了大規模部署AI的門檻。
Sandisk財務長威索索（Luis Visoso）在與美銀證券（BofA Securities）分析師的對話中也談到這壹議題。威索索指出，TurboQuant可以提升超大規模資本支出的投資報酬率，而這種效率的提升，反過來又可能推動需求上升。
[加西網正招聘多名全職sales 待遇優]
無評論不新聞，發表壹下您的意見吧
TurboQuant是壹種旨在解決“鍵值快取（Key-Value Cache）”瓶頸問題的演算法，Google將鍵值快取描述為“數位作弊表”，他實際上充當了AI模型的短期記憶。每當大型語言模型處理壹段對話時，都會將過去的計算結果儲存在這個快取中，這樣就無需從頭開始計算。
隨著對話愈長，這份表就愈大，占用GPU（圖型處理器）記憶體的速度就愈快。雖然可以透過壓縮資訊來增加這張“作弊表”的容量，但他仍會很快被填滿，然而，壓縮可能會導致模型出現“幻覺”或是出錯。
TurboQuant旨在解決其中的壹些問題，Google研究人員表示，TurboQuant將AI模型中的鍵值記憶體大小減少了至少6倍，並將速度提高了8倍，且不影響模型准確性。
市場聽說AI相關的記憶體使用量減少了6倍，這可能會讓那些從記憶體類股熱潮中獲利的投資人感到擔憂，因為這些公司的漲勢是建立在AI對記憶體處理器和儲存容量不斷成長的需求之上。
Evercore分析師達裡亞納尼（Amit Daryanani）指出，Google推出的TurboQuant為大幅降低AI工作負載的記憶體提供了壹條途徑。如果TurboQuant能夠獲得顯著發展，可能會對DRAM（動態隨機存取記憶體）和NAND（儲存型快閃記憶體）等記憶體的長期需求預期構成壓力。
美光單周市值蒸發700億美元
受到Google最新技術的打擊，美國記憶體芯片股單周市值蒸發近1000億美元。
其中以美國記憶體大廠美光科技表現最慘烈，單周市值蒸發超過700億美元，跌幅達15％。去年，標普500指數當中表現最好的快閃記憶體制造商晟碟（SanDisk）單周市值蒸發約150億美元；記憶體公司威騰電子（Western Digital）和希捷（Seagate）市值也分別蒸發了數拾億美元。
加州資產管理公司Informed Momentum Company投資長普倫帝斯（Travis Prentice）表示，這些股票已經經歷了巨大的上漲，因此任何微小的消息都可能導致股價下跌，這是合乎邏輯的情況。
普倫帝斯補充，記憶體類股的上漲行情看起來還沒有結束，但市場預期很高，因此獲利了結是明智之舉，尤其是在當前動蕩的市場環境下。
效能更強的AI模型需用更多記憶體
專家表示，雖然TurboQuant技術可以減少記憶體使用量，但對記憶體需求減緩的擔憂有些過頭了。普遍觀點認為，盡管Google宣布記憶體使用量可能減少，但這將推動AI技術的進步和普及。因此，TurboQuant技術出現實際上代表芯片需求增加，而不是減少。
壹些分析人士指出，提高資源利用率往往會導致資源消耗增加，因為效率提升會開啟以前不存在的用途。
摩根大通（JPMorgan）報告就提到了這壹論點，報告中認為，記憶體消耗短期內不會受到威脅。 SemiAnalysis分析師也提到，解決瓶頸問題可以提升AI硬體的效能，而效能更強的模型最終需要的是更多的記憶體，而不是更少記憶體。
摩根士丹利（Morgan Stanley）分析師在報告中寫道，TurboQuant等效率提升技術可以減少運行AI模型所需的基礎設施。如果模型能夠在不損失性能的前提下，大幅降低記憶體需求，那麼每次查詢的服務成本將明顯下降，進而提升AI的盈利能力。原本需要雲端叢集的模型現在可以部署在當地的硬體上，有效降低了大規模部署AI的門檻。
Sandisk財務長威索索（Luis Visoso）在與美銀證券（BofA Securities）分析師的對話中也談到這壹議題。威索索指出，TurboQuant可以提升超大規模資本支出的投資報酬率，而這種效率的提升，反過來又可能推動需求上升。
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: