📌 【笑死 ... 😂】
共 48 條紀錄
【笑死 ... 😂】Google 於 25 日在毫無預警下發布全新 AI 記憶體壓縮技術「TurboQuant」，聲稱能大幅減少 AI 模型在推理時的記憶體使用量最高可減少 6 倍、推理速度提升 8 倍，並且「零精準度損失」。消息傳出後，三大記憶體晶片大廠股價大跌，投資者憂慮 Google 的技術會令 DRAM 需求降溫。
據 Google 指出，TurboQuant 是一種能在不影響效能的情況下，大幅縮減 AI 工作記憶體使用量的演算法。AI 模型在運行時需要 Key-Value Cache（KV 快取），每當處理資訊、產生答案時，KV Cache 會迅速膨脹，而且上下文視窗越長，佔用的記憶體容量就越大。
TurboQuant 採用向量量化針對 KV Cache 進行壓縮。為保持資訊準確性，Google 成功研發兩項關鍵技術：「PolarQuant」量化演算法與「QJL」訓練最佳化演算法。研究團隊計劃於下月在 ICLR 2026 大會上正式發表相關成果。
Google 提供的數據顯示，TurboQuant 無需任何預訓練或微調，即可將 KV Cache 高效壓縮至 3 bit，相較於未量化的 32 位元鍵值，記憶體使用量最高減少 6 倍、推理速度提升 8 倍，並且「零精準度損失」。
消息傳出後，Samsung 股價跌 4.8%、SK Hynix 股價跌 5.9%、Micron 股價跌 3.4%。儘管華爾街投行認為先進壓縮技術僅能暫時緩解瓶頸，並不會改變 DRAM 與快閃記憶體的長期需求趨勢，但投資者仍擔心 Google 的技術會導致 DRAM 需求降溫。
三大 DRAM 廠應該沒想到，Google 會搞出這樣的黑科技出來吧。
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
傑文斯悖論（Jevons Paradox），他是一種經濟學現象，指當技術進步提高資源的使用效率（即單位消耗減少）時，該資源的總消耗量反而不降反升。
LED 燈泡比傳統燈泡省電，理論上應減少用電。但因電費變便宜，人們開始在更多地方安裝燈具（如景觀照明、廣告牌），反而推升了總體照明用電量。
一有風吹草動消息，就能讓記憶體漲或跌，馬上立刻當下就會衝擊到記憶體產業？AI的發行都還不是在最成熟階段，這樣的消息面就能衝擊產業完全比AI還無腦
每次吞吐的時間變少，但每個會話的總使用量我不認為會降低，這種東西都是越用越多的
但短期而言可以算是解決了各CSP的記憶體燃眉之急
幾十年前Microsoft都出過double space (應該係買咗drive space)嚟緩和hard disk需求， 後來已經完全冇哂影，呢啲都係interim solution ，之後都係會過去
正常理解係，AI 幾多RAM都食得落。
你高效壓縮咪可以塞更多更多野。。。
點解連一個專講電腦野既網站都講到好似財經KOL 咁。
有那麼強輝達直接包起來…也不用說有多少記憶體我要我要多少。
難不成是在說大話而已..其實輝達也馬馬虎虎而已。
以為是路太小造成塞車，所以去拓寬。路又直又大條以後，大家覺得開車太爽了就拼命買車，然後又開始塞車了。
以後AI可以儲存的上下文會變得更長，但下一代的資料中心有可能因此削減記憶體的配置數量嗎？我認為不會
我覺得呢 大家對context length的需求是無底洞
只會從128k token
變成512k token
用戶：好耶！
然後dram依然缺貨
數據唔會少左，就算有新技術，都唔知會唔會影響速度。當然希望技術可行，到時8GB 行到120b，本地夠玩
AI技術強大在於，記憶體與硬碟的邊界模糊了，也就是說一個圖書館的書，全部一頁一頁攤在廣場上。
記憶體是剛需啊 即時優化了 總不可能拿掉不用啊😂 就是減少使用量或是有更多用量來強化效能
你是提升了演算法的速度
但使用的需求只會等比增加不會減少
DRAM的需求不可能因為這樣就降低
是只有針對連續對話累積起來的 KV Cache 進行壓縮
Model Weights 還是需要足夠的記憶體才能被放入
這等於可以放更大的模型，需求不減，為何會跌？？同當初deepseek發佈一樣，nvda現在還好好的
記憶體收縮沒錯但是google的AI現在超級無敵難用 我都想退了 反而GPT出圖都是用炸的
OpenAI梯隊可以收皮了，入咗咁多RAM存貨，最後被Google全方位擊殺，錢又冇賺過😭
誰說提升個六倍八倍就能滿足AI的需求
人家大廠的目標都是AGI 現在還差的老遠了
cfo 不批預算了 你想太簡單。
需要是需要 盈利是盈利。
原本8G變1G, 那我用8G不是更強更快，插槽有洞你不想插滿？這後面一定還有變化
會唔會有一種可能係google突登抄高記憶咭或其價格，是用來宣傳這款新技術？
能源貴就研發新能源
個世界不嬲咁運作
只不過無諗到咁快搵到ram嘅解決方法
這世界在哭是不是
一下漲一下跌 啊售價又沒有明顯變動
快定案啊幹
艸，最好是真的，黃仁勳 下張顯卡 記憶體容量低於48g都算你沒誠意
精度零損失？
任何剪枝演算法不可能沒有損失，差別多或少而已
記憶體不只用在這裡啊…AI領域中要用到記憶體的地方還太多了。
Google 太伟大喇，还我评价内存价格。最好令啲移动硬盘都降埋！
我都會猜：是不是有人先做空記憶體、然後再放消息？哎！
根據過往歷史，演算越先進越節能，硬體需求反而越來越高
量化壓縮不是已經實作了好一陣子了嗎，各家都有量化實現
笑死就算壓縮還是缺 人性就是這麼貪婪 能壓縮就繼續塞滿
需求只會增加不會減少，你增加的八倍明年可能就不夠了
漲價的時候秒漲，回歸正常時會在海上飄，各位等幾年。
哇！Google這AI招超猛,以後裝機不用怕RAM貴翻天了😂💻？
推論減少gpu記憶體 訓練還是要用啊😂 繼續看漲記憶體
如果是這樣 蘋果記憶體
就有理由就卡8-12 好幾年了？
這簡單說會讓 AI普及化 平民化 記憶體需求不減反增
@jc.__229 買一條吧 不然你光windows
就榨乾了