03/06/2026
https://www.koc.com.tw/archives/644514
傳統PC的內存架構是分裂的，CPU有自己的系統內存（RAM），GPU有自己的顯存（VRAM），兩者之間靠一條叫PCIe的東西連起來。
CPU有一塊系統內存，我們按64GB RAM來算，GPU又有一塊自己的顯存，比如RTX5080的16GB VRAM。你想在本地跑一個大模型，比如量化後的70B模型，可能要幾十G內存，你的電腦內存看起來有64GB，但GPU真正能高速使用的只有那16GB顯存。一旦模型太大，顯存放不下，就要把一部分權重放在CPU的系統內存裏，GPU每次需要這部分權重，就得通過PCIe去系統內存裏拿。GPU讀自己的顯存，帶寬大概1TB/s，非常快。但是PCIe這條連接CPU內存和GPU的通道，像PCIe 4.0 x16單向帶寬只有大概32GB/s，差了三十倍，純龜速。所以，你的模型還是跑不動，或者跑的很慢。統一內存解决的主要問題就是這個。它可以把CPU和GPU的內存變成一個共享池，比如一台機器有128GB統一內存，那麽GPU就可以直接使用這個大池子裏的很大一部分。那這樣你跑本地大模型的時候，就不再被一張顯卡的 16GB、24GB、32GB顯存限制得那麽死。統一內存在消費級單機上，幾乎是跑本地大模型唯一優雅的解法。數據中心就是另一個世界了，那條路跟我們普通消費者就沒啥關係了。說到這，那我覺得，你肯定想問，那既然統一內存這麽牛逼，我買Mac不就行了，Mac也有128G的統一內存的版本，我買RTX Spark幹啥？這是個非常好的問題，有一個答案還是挺重要的，那就是英偉達真正的殺手鐧。
CUDA這個詞，很多關注AI的朋友應該都聽過，但它到底是什麽，爲什麽這麽重要，我覺得還是值得認真聊一下。很多人以爲CUDA就是英偉達的顯卡驅動，或者只是什麽GPU加速技術。這麽理解也不能說錯，但它遠不止于此。CUDA是一整套的生態，最牛逼的生態。
底層，它讓你能把GPU當成通用計算器來編程，除了渲染畫面，還能做數學計算。中層，是一堆被打磨了將近二十年的數學庫。cuBLAS做綫性代數，cuDNN做深度學習的基礎運算，TensorRT做推理優化，NCCL做多卡通信，FlashAttention這類關鍵優化，CUDA 路綫最成熟，很多新特性也會優先圍繞NVIDIA GPU做適配。還有老黃這次演講裏反復强調的CUDA-X，爲所有的Agent，開放的CUDA庫，能讓Agent直接調用，這下更離譜了。。。裏面有一整套橫跨科學計算、工程仿真、芯片設計、基因組學、通信網絡、機器人和物理仿真等等的加速庫。比如cuLitho做計算光刻，cuOpt做决策優化，cuDSS做稀疏矩陣求解，AI-Q做對結構和非結構化文檔做深度研，Warp做可微分物理，Parabricks做基因組學等等等等。用老黃的話說，數學，太美妙了。CUDA，太牛逼了。上層，就是PyTorch、TensorFlow、JAX，幾乎所有深度學習框架的GPU後端，默認且首先支持的就是CUDA。從2006年做到現在，CUDA積累了海量的優化庫、教程、代碼、生態等等。你今天去看學術論文放出來的開源代碼，絕大多數都是在CUDA上寫和測的，你今天遇到任何深度學習的問題去搜解法，搜出來的答案也幾乎都是默認假設你在用CUDA。整個AI工程界的母語，就是CUDA。這也是Apple一直以來的一個痛點。它的統一內存確實牛逼，但它的GPU用的是Metal，機器學習框架是MLX。社區裏絕大部分開源模型、訓練代碼、微調工具，都是先在CUDA上做好的，然後才慢慢有人移植到MLX，而且推理還好說，但是訓練和微調在Apple上的生態到今天還是非常薄弱。所以你現在應該能理解，RTX Spark爲什麽讓整個行業都在期待了。因爲在RTX Spark之前，想要CUDA和想要統一內存的能效，這兩件事在PC上，是不可兼得的。RTX Spark第一次把這以前打架的東西捏到了一起。這是以前任何一個單一平臺都給不了的組合。這才是RTX Spark真正的最牛逼的地方，也是最大的差异化。運行人類至今創造過的一切，外加Agent。而基于CUDA生態，這次，像Adobe之類的，會針對RTX Spark進行全面優化。比如Adobe直接重新爲RTX Spark設計了Photoshop和Premiere的核心架構，擁有高達兩倍的速度，而且，還原生支持Agent調用。而且，這一次，英偉達和微軟還要一起携手，來重塑Windows上的Agent生態，雖然這塊是後面才會跟納德拉具體直播去聊，但是也透了一點東西出來。包括全新的Windows安全基元，能爲Agent的原生構建與運行提供身份認證、隔離防護、策略管控和端到端安全能力。還有英偉達自己的Open Shell。
一套面向Agent的Windows PC平臺就能看出來了。底層是RTX Spark提供的硬件能力。第二層是Windows的系統，微軟會把Windows往Agent時代來改。第三層就是是安全運行環境。
也就是Windows security primitives + NVIDIA OpenShell。可以說，未來任何一個想要在本地電腦上跑大模型的開發者或者創作者，從硬件上來說，RTX Spark的機器，幾乎就是最優解。如果你還想打游戲，那相信我，你沒有別的選擇了。僅此一家，只有RTX Spark。A New Line，A New Beginning。這就是，個人電腦的新時代。它，不止是爲你設計的，還是爲Agent所設計的。不止兼容著過去，還帶著過去。走進了，下一個未來。
先前已經有傳聞指出，NVIDIA 會和聯發科合作，打造自家的 Arm 架構晶片，當時提到的代號是 N1、N1X，而在稍早的 GTC Taipei 大會中，不意外的真的帶來這款晶片，正式名稱是「RTX Spark」，並宣布與 Microsoft 合作打造新一代 Windows on A...
