雙顯卡跑本地 AI 已成為個人工作站與中小企業省下雲端 API 費用的主流方案,但插上兩張顯示卡絕不等於效能自動翻倍。本篇以 432 筆實機基準數據,帶你拆解 25GB 級別大模型在雙卡環境下的真實瓶頸與加速秘訣。
想徹底落實 llama.cpp 雙卡 VRAM 優化,絕不能只靠網路流傳的舊參數盲調。本文以雙張 16GB 顯卡工作站實測三款熱門開源模型,橫掃卸載層數、分割模式、張量權重比與微批次設定,整理出不灌水的實戰避坑攻略。
雙顯卡跑本地 AI 的核心架構、硬體實測平台與顯存卸載臨界點
在動手調整參數之前,先釐清測試工作站規格與效能指標定義,才能精準掌握 llama.cpp 雙卡 VRAM 優化的底層邏輯。許多人在建置多卡推論主機時,常把硬碟上的模型檔案大小誤認為實際顯存佔用,結果系統一上線就頻繁遭遇顯存不足(OOM)或推論暴慢的窘境。
32GB 雙卡工作站實測硬體與受測模型規格
為了還原目前高性價比的雙 16GB 顯示卡本地部署架構,本次基準測試全數在配備兩張 16GB 顯示卡的專業工作站上執行(合計 32GB 顯存),推論引擎為 llama-server.exe(build 11814 / commit d88040c70),並全面關閉提示詞快取重用(No Prompt Reuse),確保每一筆數據皆為真實從頭運算的成績。
如果你正在規劃硬體採購與雙顯卡機箱配置,也可以先參考我們的 32GB VRAM 雙卡本地 LLM 建置指南 了解整體組裝細節。
| 品名 | 型號/規格 |
|---|---|
| 工作站系統 | SuperWorkstation SYS-551A-T |
| CPU | Intel Xeon W5-3425 |
| 主機板 | Supermicro X13SWA-TF |
| 記憶體 | 32GB DDR5-4800 ECC RDIMM *2 |
| GPU | 雙卡 Nvidia GeForce RTX 5060 Ti 16GB |
| 測試資料庫儲存 | Kingston FURY Renegade G5 1TB |
| 作業系統 | Windows 11 專業版 |
除了運算顯示卡之外,載入 25GB 級別模型檔的速度也與磁碟陣列息息相關,想確認高速儲存是否值得投資,可延伸閱讀 NVMe RAID 0 本地 AI 模型載入實測 與 Storage Spaces Simple 搭配 Gen5 NVMe 載入測試。
| 模型名稱 | 檔案體積 | 測試定位與規格 |
| Gemma 4 26B Q8 | 25.02 GiB | 主力錨點模型,最大 31 層卸載,上下文 8192 |
| Nemotron 3 Nano UD-Q4 | 21.27 GiB | 跨架構對照組,驗證中大型模型雙卡分割邊界 |
| Gemma 4 12B Q8 | 11.80 GiB | 中小模型對照組,單張 16GB 顯示卡即可完整容納 |
關鍵記憶體與延遲指標精確區分
- 模型檔案大小 vs 程序 RAM 工作集 vs 整卡 NVML 顯存峰值:
- 25.02 GiB 僅是硬碟上的靜態權重體積;實際推論還需疊加 KV Cache 與計算緩衝區。
- 整卡 NVML 顯存峰值(Peak Device VRAM)則包含 Windows 桌面基礎佔用,只要逼近單卡 16 GiB 天花板就會觸發顯存溢出或 OOM。
- 預填充時間(Prefill Time)vs 首字時間(TTFT)vs 整題完成時間(Request Time):
- Prefill Time 代表模型消化輸入提示詞(短請求約 483 tokens、長文件約 4,068~4,088 tokens)的耗時。
- TTFT 是吐出第一個非空字元的延遲;Request Time 則是端到端接收完整 74 tokens 結構化答案的總等待時間(不含模型冷啟動載入)。
NVML 是 NVIDIA Management Library(NVIDIA 管理函式庫)的縮寫,它是 NVIDIA 官方提供用來監控與管理自家顯示卡(GPU)硬體狀態的底層程式介面(API)。在實務應用中,NVML 主要有三個核心功能與意義:
- 驅動層級的硬體遙測:工程師在終端機輸入 nvidia-smi 指令時,畫面上跳出的顯示卡溫度、即時功耗(W)、風扇轉速、GPU 核心負載率,以及已使用的顯存(VRAM)容量,背後都是透過 NVML 直接向顯示卡驅動程式讀取的數據。
- 自動化監控與管理工具的基礎:在 Python 壓測腳本(透過 pynvml 或 nvidia-ml-py 套件)或伺服器監控看板中,系統會以毫秒或秒為單位呼叫 NVML,用來記錄整段推論過程中的顯存峰值與功耗曲線。
- 反映最真實的 OOM(顯存不足)邊界:推論引擎(如 llama.cpp)自己計算的通常只有「模型權重+KV Cache」的理論容量;而 NVML 回報的是整張顯示卡實際被占用的總顯存(包含 CUDA Context 初始化、顯示輸出緩衝與驅動程式開銷)。因此,觀察 NVML 顯存峰值才能最準確判斷距離顯示卡物理上限還剩多少安全空間。
單卡 18 層速度甜蜜點 vs 雙卡 31 層全卸載起飛
以 25.02 GiB 的 Gemma 4 26B Q8 模型為基準,將卸載層數(--n-gpu-layers)從 0 逐步調升至 31 層,實測單卡與雙卡的真實耗時分水嶺。

- 0 至 18 層(單卡甜蜜點):
- 短請求耗時從純 CPU 的 18.10~18.13 秒穩定下降;
- 卸載到 18 層時,單卡 GPU 0 來到最佳成績 8.94 秒(GPU 1 為 9.02 秒),此時 GPU 0 峰值顯存達 15.76 GiB,剛好貼緊實體顯存上限。
- 20 至 31 層(單卡死亡反彈 vs 雙卡暴衝):
- 單卡硬塞超過 18 層後,GPU 0 顯存頂死在 15.90~15.92 GiB,溢出的權重被迫透過 PCIe 通道與系統 RAM 頻繁交換,導致生成速度從 18 層的 34.21 tokens/s 雪崩跌至 31 層的 7.05 tokens/s,整題耗時反彈拉長至 13.19 秒(GPU 1 則為 13.66 秒)。
- 反觀 Dual GPU 在 31 層全卸載時把整題壓低至 1.46 秒(生成達 77.61 tokens/s、Prompt 預填充達 935.65 tokens/s),這也印證了我們在 雙 16GB 顯示卡跑本地 LLM 基準評測 中觀察到的多卡擴展效益。
多顯卡本地部署兩大痛點:CPU 執行緒拉滿反變慢與 Split Mode 分割迷思
在論壇討論 llama.cpp 雙卡 VRAM 優化時,玩家在建置工作站最常抱怨兩件事:
- 為什麼 CPU 執行緒開滿 24 條反而變卡?
- 雙卡分割模式選哪一種才不會啟動失敗?
我們用圖 2 至圖 4 的實測數據一次解答。
痛點一:生成與預填充 CPU 執行緒不能無腦開滿
為了放大 CPU 與 GPU 協同作業的差異,我們在混合卸載情境(20 層上 GPU、11 層留 CPU)下,分別測試生成執行緒(--threads)與預填充執行緒(--threads-batch)從 2 條拉高至 24 條的影響。

- 圖 2 可以觀察到生成階段:
- 執行緒從 2 條拉到 8 條時延遲迅速下降,隨後進入平台期
- Dual GPU 混合卸載在 16 執行緒(8.37 秒)略勝 24 執行緒(8.51 秒)
- 純 CPU 則在 20~24 執行緒達到最佳(11.08~11.09 秒)

- 圖 2 可以觀察到預填充階段:
- 純 CPU 模式下,把
--threads-batch從 2 條拉高到 16 條,Prefill 時間從 176.23 秒驟降至 36.31 秒 - 但只要有顯示卡參與運算,執行緒超過 12 條反而出現顯著負收益
- Dual GPU 在 8 執行緒時 Prefill 僅需 24.01 秒,拉高到 16~24 執行緒卻惡化至 28.30~28.48 秒(慢了超過 4.4 秒),主因是過多執行緒搶占核心排程與記憶體頻寬,反而拖慢 CPU 與雙 GPU 之間的資料同步
- 純 CPU 模式下,把
痛點二:雙卡分割模式選 row 或 none 為何行不通?
llama.cpp 支援 none(不分卡)、layer(按網路層分配)與 row(按張量列切分)三種 --split-mode。我們在雙卡全卸載(n-gpu-layers 99)下,實測三款模型處理 4K 長文件的結果。

圖 4 的結果毫無懸念(藍色圓點為 Gemma 4 12B Q8、橘色方塊為 Gemma 4 26B Q8、綠色三角形為 Nemotron 3 Nano UD-Q4):
row模式在三款模型上全數不支援(標示 U)none模式- 僅 11.80 GiB 的 Gemma 4 12B Q8 能順利跑完(4.69 秒)
- Gemma 4 26B Q8 與 Nemotron 30B UD-Q4 均直接觸發 OOM(標示 N/T)
- 唯有
layer模式三款皆穩定過關- Gemma 4 26B Q8 僅需 3.00 秒
- Nemotron 3 Nano UD-Q4 為 3.41 秒
- Gemma 4 12B Q8 亦從 4.69 秒加速至 4.33 秒
如果你想進一步了解 Gemma 4 在不同量化下的更多表現,可以參考 Gemma 4 雙卡基準實測完整解析。
雙顯卡跑本地 AI 實測:張量權重 40:60 黃金比例、KV 快取與 uBatch 實測
鎖定 layer 模式後,真正決定多卡工作站吞吐上限的 llama.cpp 雙卡 VRAM 優化技巧,關鍵在於張量權重比例(--tensor-split)、KV Cache 精度與實體微批次大小(--ubatch-size)。
雙卡張量權重 40:60 黃金比例與顯存峰值真相
預設狀態下,llama.cpp 會以 1,1(50:50)平均切分兩張顯示卡的權重。我們將主卡 GPU 0 的權重比例從 0% 逐步掃描至 100%,同步記錄長文件請求時間與雙卡峰值顯存。


圖 5 與圖 6 揭露了一項多卡部署的黃金法則:
- 25.02 GiB 的 Gemma 4 26B Q8 僅在 40:60 與 50:50 兩個區間不會 OOM,其餘偏斜比例一律直接顯存爆表(標示 N/T)。
- 更關鍵的是,將主卡 GPU 0 權重調低為 40%(
--tensor-split 0.4,0.6)比預設 50:50 更快! - 因為 GPU 0 兼任
main-gpu必須負擔作業系統顯示與主計算緩衝區調度;改成 40:60 後,GPU 0 峰值顯存從 13.68 GiB 降至 11.23 GiB(副卡 GPU 1 則承接至 15.41 GiB),讓 26B Q8 長文件請求從 2.99 秒縮短至 2.92 秒,12B Q8 也從 4.32 秒進步至 4.27 秒。
| 受測模型 | 安全區間與最佳比 | 最佳耗時與雙卡 VRAM 峰值 |
| Gemma 4 26B Q8(25.02 GiB) | 僅 40%~50% 安全;最佳 40:60 | 2.92 秒(50:50 為 2.99 秒);GPU0 11.23 / GPU1 15.41 GiB |
| Nemotron 3 Nano(21.27 GiB) | 30%~70% 安全;最佳 50:50 | 3.41 秒;GPU0 10.51 / GPU1 11.83 GiB |
| Gemma 4 12B Q8(11.80 GiB) | 0%~100% 全安全;最佳 40:60 | 4.27 秒(50:50 為 4.32 秒);GPU0 5.15 / GPU1 8.20 GiB |
KV Cache 精度選擇 vs Batch / uBatch 預填充 5 倍加速
在雙卡 31 層全卸載配置下,我們接著測試 KV Cache 量化(f16、q8_0、q4_0)與批次大小(--batch-size、--ubatch-size)的真實收益。若你正在猶豫模型本體該選 Q4、Q6 還是 Q8 量化,也可以搭配觀看 GGUF 量化 Q4、Q6 與 Q8 雙卡實測對比。


兩張圖給出實戰價值的結論:
- 顯存充裕時別降量化 KV Cache(圖 7):
- 8K 上下文下維持原生
f16長文件僅需 2.99 秒 - 降量化成
q8_0或q4_0反而因增加反量化運算而微幅升至 3.01~3.04 秒
- 8K 上下文下維持原生
- 調高
--ubatch-size讓長文件預填充加速超過 5 倍(圖 8):- 調整
--batch-size(128~4096)對長文件預填充(Batch/D)毫無影響,整條曲線平躺於 2.01 秒 - 但將
--ubatch-size從 32 拉高至 512,長文件 Prefill 時間(uBatch/D)從 4.46 秒一路陡降至 0.87 秒,對企業 RAG 文件檢索與長文本分析幫助極大。
- 調整
想看更極端的 128K 長文本與多人並發壓測表現,請參考 本地 LLM 128K 長文與多人並發實測。
雙 GPU 工作站實戰選購與調校避坑:雙盲驗證與參數部署指南
單次跑分很容易受到背景程式或誤差干擾。為了確保這套 llama.cpp 雙卡 VRAM 優化策略具備真實可重現性,我們在實驗最後執行了「獨立保留集雙盲驗證」與「測試前後基準漂移檢查」,讓計畫建置多卡推論主機的讀者能安心套用這組設定。
獨立保留長文件雙盲驗證(Held-Out Confirmation)
我們另外準備一組未參與參數挑選的保留長文件(約 4,088 input tokens),針對 8 個調校群組各進行 3 輪重複對照實驗。

圖 9(藍色圓點為 Selected 勝出設定、橘色方塊為 Matched control 對照組、上方 = 代表兩者選中同一參數)證實了兩項穩健的實戰紅利:
RATIO_LAYER40:60 中位數為 2.92 秒(範圍 2.92~2.92 秒),穩定快於 50:50 對照組的 3.00 秒(範圍 2.99~3.00 秒)- 混合卸載下的
THREADS_BATCH8 執行緒中位數為 26.63 秒(範圍 26.50~26.74 秒),明顯勝過 24 執行緒對照組的 30.90 秒(範圍 30.88~30.97 秒)。
測試前後基準漂移檢查(Baseline Drift Check)
為了排除連續高負載測試造成顯卡過熱降頻,我們在整輪實驗最開始(Before)與最結束(After),各執行 3 輪基準長文件測試。

圖 10 四條基準線(CPU、GPU 0、GPU 1、Dual GPU)幾乎呈完美水平:
- Dual GPU 前測中位數 2.98 秒(範圍 2.98~2.99 秒)、後測 2.99 秒(範圍 2.98~2.99 秒),誤差僅 0.01 秒
- GPU 0 前後為 34.49 秒 vs 34.60 秒
- GPU 1 為 35.32 秒 vs 35.39 秒
- CPU 為 42.84 秒 vs 42.35 秒
- 證實工作站散熱與效能高度穩定
雙顯卡選購建議與 4 步避坑部署清單
| 調校項目 | 推薦參數設定 | 實測成效與避坑重點 |
| 卸載層數 | --n-gpu-layers 99 | 雙卡短請求 1.46 秒;單張 16GB 卡跑 25GB 模型限 18 層免反彈 |
| 分割與權重 | layer + 0.4,0.6 | 長文件 2.99 秒降至 2.92 秒;26B Q8 偏離 40~50% 必 OOM |
| 微批次與 FA | ubatch 512 + fa on | Prefill 4.46 秒驟降至 0.87 秒;關 FA 總耗時翻倍(4.62 秒) |
- 總顯存容量優先於單卡極致算力:
- 對想在本地跑 25GB~30GB 級別開源大模型的使用者而言,組建兩張 16GB 顯示卡(總計 32GB VRAM)的投資報酬率遠勝單張 16GB 卡
- 單卡一旦跨越顯存臨界點就會陷入 PCIe 瓶頸,雙卡全卸載則能直接帶來超過 6~9 倍的端到端加速。
- 雙卡鎖定
--split-mode layer與--tensor-split 0.4,0.6:- 執行接近顯存上限的 Q8 模型時,把主卡 GPU 0 權重調降為 40%,為系統桌面與主計算緩衝留出空間,速度與穩定度兼得。
- 常駐 Flash Attention 並放大
--ubatch-size 512:- 關閉
--flash-attn會讓 Gemma 4 26B Q8 加權耗時從 2.27 秒暴增至 4.62 秒 - 搭配
ubatch 512即可把長文本預填充時間壓縮 80% - 調校好底層引擎後,你可以參考 Modelfile 教學:將 GGUF 匯入 Ollama 與 AnythingLLM 或 用 AnythingLLM 與 Ollama 自建 ChatGPT 替代方案,快速打造企業內部知識庫。
- 關閉
- 切勿無腦疊加極限參數:
- 本測試採單一變數控制法測量各參數邊界
- 實際生產環境若同時調高
ctx-size(如 32K 以上)並拉大ubatch-size,務必預留至少 1~1.5 GiB 的顯存安全餘裕以免觸發 OOM。
雙顯卡跑本地 AI 常見問題
Q1:雙張 16GB 顯示卡合計 32GB VRAM,實際能完整載入多大的本地 LLM 模型?
以本次實測為例,可完整全層卸載(31 層)檔案大小 25.02 GiB 的 Gemma 4 26B Q8_0 模型,在 8K 上下文與 f16 KV Cache 設定下,雙卡峰值顯存分別為 13.68 GiB 與 12.96 GiB。
Q2:為什麼單張 16GB 顯示卡把 25GB 模型開滿 31 層,反而比只卸載 18 層更慢?
因為超過 18 層後顯存頂死在 15.90~15.92 GiB,系統被迫透過 PCIe 通道與主記憶體頻繁交換權重,導致生成速度從 34.21 tokens/s 暴跌至 7.05 tokens/s,耗時從 8.94 秒反彈至 13.19 秒。
Q3:進行 llama.cpp 雙卡 VRAM 優化時,分割模式應該選 layer 還是 row?
請鎖定 layer。
實測 row 模式在 Gemma 4 與 Nemotron 3 架構上皆顯示不支援(U),none 模式在 21 GiB 以上模型則直接觸發 OOM,唯有 layer 模式最穩定。
Q4:雙卡張量分配比例為什麼設 40:60 比預設 50:50 更快?
因為主卡 GPU 0 還需負擔作業系統顯示輸出與主計算緩衝調度;微調為 0.4,0.6 可將 GPU 0 峰值顯存從 13.68 GiB 降至 11.23 GiB,讓 4K 長文件請求從 2.99 秒縮短至 2.92 秒。
Q5:在雙 16GB 顯存環境跑 25GB 級別模型,權重比例有哪些禁忌?
實測 25.02 GiB 的 Gemma 4 26B Q8 僅有 40:60 與 50:50 兩個比例不會 OOM;只要設成 30:70 或 60:40 等更偏斜的比例,負載較重的那張卡會立刻觸發顯存不足崩潰。
Q6:雙卡顯存足夠的情況下,需要將 KV Cache 量化成 q8_0 或 q4_0 嗎?
不需要。
實測 8K 上下文下維持原生 f16 長文件僅需 2.99 秒,降量化反而因增加反量化運算微幅增至 3.01~3.04 秒,建議顯存充足時優先保留 f16。
Q7:想要加快長文件預填充(Prefill)速度,調大 batch-size 還是 ubatch-size 有效?
調大 --ubatch-size(實體微批次)才有效。實測調整 --batch-size 始終停留在 2.01 秒,但將 --ubatch-size 從 32 拉高至 512,Prefill 時間可從 4.46 秒大幅壓低至 0.87 秒。
Q8:開啟 Flash Attention(--flash-attn on)對雙卡本地 AI 速度影響有多大?
影響極大。Gemma 4 26B Q8 開啟 Flash Attention 的綜合加權耗時為 2.27 秒,若將其關閉,耗時會直接翻倍惡化至 4.62 秒,務必常駐開啟。
Q9:用雙顯示卡搭配 CPU 混合推論時,CPU 執行緒(--threads-batch)越高越好嗎?
不是。
在混合卸載模式下,雙卡預填充在 8 執行緒時最快(24.01 秒),拉高至 16~24 執行緒反而因排程競爭退步至 28.30~28.48 秒。
Q10:雙顯卡工作站長時間連續跑本地 LLM 會因為過熱降頻嗎?
只要機殼風道與電源配置得宜就不會。根據數小時基準測試前後的漂移檢查,雙卡長文件耗時分別為 2.98 秒與 2.99 秒,效能維持高度穩定。
雙顯卡跑本地 AI 實測調校與避坑總結
雙顯卡跑本地 AI 想榨出完整商業生產力,落實 llama.cpp 雙卡 VRAM 優化是關鍵。全層卸載 31 層並鎖定 Layer Split 40:60 比例,能將長文件壓縮至 2.92 秒,搭配 uBatch 512 即可輕鬆避開執行緒陷阱。

📚 Local AI 本地部署 系列
← Local AI 本地部署指南:Ollama、AnythingLLM、Whisper