雙顯卡跑本地 AI 實測:10 項 LLM 調校避坑攻略

  • Post category:AI
00_dual-gpu-local-ai-llm-tuning-benchmark-guide cover 800 x 400

雙顯卡跑本地 AI 已成為個人工作站與中小企業省下雲端 API 費用的主流方案,但插上兩張顯示卡絕不等於效能自動翻倍。本篇以 432 筆實機基準數據,帶你拆解 25GB 級別大模型在雙卡環境下的真實瓶頸與加速秘訣。

想徹底落實 llama.cpp 雙卡 VRAM 優化,絕不能只靠網路流傳的舊參數盲調。本文以雙張 16GB 顯卡工作站實測三款熱門開源模型,橫掃卸載層數、分割模式、張量權重比與微批次設定,整理出不灌水的實戰避坑攻略。

雙顯卡跑本地 AI 的核心架構、硬體實測平台與顯存卸載臨界點

在動手調整參數之前,先釐清測試工作站規格與效能指標定義,才能精準掌握 llama.cpp 雙卡 VRAM 優化的底層邏輯。許多人在建置多卡推論主機時,常把硬碟上的模型檔案大小誤認為實際顯存佔用,結果系統一上線就頻繁遭遇顯存不足(OOM)或推論暴慢的窘境。

32GB 雙卡工作站實測硬體與受測模型規格

為了還原目前高性價比的雙 16GB 顯示卡本地部署架構,本次基準測試全數在配備兩張 16GB 顯示卡的專業工作站上執行(合計 32GB 顯存),推論引擎為 llama-server.exe(build 11814 / commit d88040c70),並全面關閉提示詞快取重用(No Prompt Reuse),確保每一筆數據皆為真實從頭運算的成績。

如果你正在規劃硬體採購與雙顯卡機箱配置,也可以先參考我們的 32GB VRAM 雙卡本地 LLM 建置指南 了解整體組裝細節。

品名型號/規格
工作站系統SuperWorkstation SYS-551A-T
CPUIntel Xeon W5-3425
主機板Supermicro X13SWA-TF
記憶體32GB DDR5-4800 ECC RDIMM *2
GPU雙卡 Nvidia GeForce RTX 5060 Ti 16GB
測試資料庫儲存Kingston FURY Renegade G5 1TB
作業系統Windows 11 專業版

除了運算顯示卡之外,載入 25GB 級別模型檔的速度也與磁碟陣列息息相關,想確認高速儲存是否值得投資,可延伸閱讀 NVMe RAID 0 本地 AI 模型載入實測 與 Storage Spaces Simple 搭配 Gen5 NVMe 載入測試。

模型名稱檔案體積測試定位與規格
Gemma 4 26B Q825.02 GiB主力錨點模型,最大 31 層卸載,上下文 8192
Nemotron 3 Nano UD-Q421.27 GiB跨架構對照組,驗證中大型模型雙卡分割邊界
Gemma 4 12B Q811.80 GiB中小模型對照組,單張 16GB 顯示卡即可完整容納

關鍵記憶體與延遲指標精確區分

  1. 模型檔案大小 vs 程序 RAM 工作集 vs 整卡 NVML 顯存峰值:
    1. 25.02 GiB 僅是硬碟上的靜態權重體積;實際推論還需疊加 KV Cache 與計算緩衝區。
    2. 整卡 NVML 顯存峰值(Peak Device VRAM)則包含 Windows 桌面基礎佔用,只要逼近單卡 16 GiB 天花板就會觸發顯存溢出或 OOM。
  2. 預填充時間(Prefill Time)vs 首字時間(TTFT)vs 整題完成時間(Request Time):
    1. Prefill Time 代表模型消化輸入提示詞(短請求約 483 tokens、長文件約 4,068~4,088 tokens)的耗時。
    2. TTFT 是吐出第一個非空字元的延遲;Request Time 則是端到端接收完整 74 tokens 結構化答案的總等待時間(不含模型冷啟動載入)。

NVML 是 NVIDIA Management Library(NVIDIA 管理函式庫)的縮寫,它是 NVIDIA 官方提供用來監控與管理自家顯示卡(GPU)硬體狀態的底層程式介面(API)。在實務應用中,NVML 主要有三個核心功能與意義:

  • 驅動層級的硬體遙測:工程師在終端機輸入 nvidia-smi 指令時,畫面上跳出的顯示卡溫度、即時功耗(W)、風扇轉速、GPU 核心負載率,以及已使用的顯存(VRAM)容量,背後都是透過 NVML 直接向顯示卡驅動程式讀取的數據。
  • 自動化監控與管理工具的基礎:在 Python 壓測腳本(透過 pynvml 或 nvidia-ml-py 套件)或伺服器監控看板中,系統會以毫秒或秒為單位呼叫 NVML,用來記錄整段推論過程中的顯存峰值與功耗曲線。
  • 反映最真實的 OOM(顯存不足)邊界:推論引擎(如 llama.cpp)自己計算的通常只有「模型權重+KV Cache」的理論容量;而 NVML 回報的是整張顯示卡實際被占用的總顯存(包含 CUDA Context 初始化、顯示輸出緩衝與驅動程式開銷)。因此,觀察 NVML 顯存峰值才能最準確判斷距離顯示卡物理上限還剩多少安全空間。

單卡 18 層速度甜蜜點 vs 雙卡 31 層全卸載起飛

以 25.02 GiB 的 Gemma 4 26B Q8 模型為基準,將卸載層數(--n-gpu-layers)從 0 逐步調升至 31 層,實測單卡與雙卡的真實耗時分水嶺。

01_dual-gpu-local-ai-offload-layers-latency-benchmark
圖 1:雙顯卡跑本地 AI 單雙卡卸載層數實測圖
  • 0 至 18 層(單卡甜蜜點):
    • 短請求耗時從純 CPU 的 18.10~18.13 秒穩定下降;
    • 卸載到 18 層時,單卡 GPU 0 來到最佳成績 8.94 秒(GPU 1 為 9.02 秒),此時 GPU 0 峰值顯存達 15.76 GiB,剛好貼緊實體顯存上限。
  • 20 至 31 層(單卡死亡反彈 vs 雙卡暴衝):
    • 單卡硬塞超過 18 層後,GPU 0 顯存頂死在 15.90~15.92 GiB,溢出的權重被迫透過 PCIe 通道與系統 RAM 頻繁交換,導致生成速度從 18 層的 34.21 tokens/s 雪崩跌至 31 層的 7.05 tokens/s,整題耗時反彈拉長至 13.19 秒(GPU 1 則為 13.66 秒)。
    • 反觀 Dual GPU 在 31 層全卸載時把整題壓低至 1.46 秒(生成達 77.61 tokens/s、Prompt 預填充達 935.65 tokens/s),這也印證了我們在 雙 16GB 顯示卡跑本地 LLM 基準評測 中觀察到的多卡擴展效益。

多顯卡本地部署兩大痛點:CPU 執行緒拉滿反變慢與 Split Mode 分割迷思

在論壇討論 llama.cpp 雙卡 VRAM 優化時,玩家在建置工作站最常抱怨兩件事:

  • 為什麼 CPU 執行緒開滿 24 條反而變卡?
  • 雙卡分割模式選哪一種才不會啟動失敗?

我們用圖 2 至圖 4 的實測數據一次解答。

痛點一:生成與預填充 CPU 執行緒不能無腦開滿

為了放大 CPU 與 GPU 協同作業的差異,我們在混合卸載情境(20 層上 GPU、11 層留 CPU)下,分別測試生成執行緒(--threads)與預填充執行緒(--threads-batch)從 2 條拉高至 24 條的影響。

02_dual-gpu-local-llm-generation-cpu-threads-speed
圖 2:雙顯卡跑本地 AI 生成 CPU 執行緒實測圖
  • 圖 2 可以觀察到生成階段:
    • 執行緒從 2 條拉到 8 條時延遲迅速下降,隨後進入平台期
    • Dual GPU 混合卸載在 16 執行緒(8.37 秒)略勝 24 執行緒(8.51 秒)
    • 純 CPU 則在 20~24 執行緒達到最佳(11.08~11.09 秒)
03_dual-gpu-local-llm-prompt-threads-prefill-latency
圖 3:雙顯卡跑本地 AI 預填充 CPU 執行緒測試圖
  • 圖 2 可以觀察到預填充階段:
    • 純 CPU 模式下,把 --threads-batch 從 2 條拉高到 16 條,Prefill 時間從 176.23 秒驟降至 36.31 秒
    • 但只要有顯示卡參與運算,執行緒超過 12 條反而出現顯著負收益
    • Dual GPU 在 8 執行緒時 Prefill 僅需 24.01 秒,拉高到 16~24 執行緒卻惡化至 28.30~28.48 秒(慢了超過 4.4 秒),主因是過多執行緒搶占核心排程與記憶體頻寬,反而拖慢 CPU 與雙 GPU 之間的資料同步

痛點二:雙卡分割模式選 row 或 none 為何行不通?

llama.cpp 支援 none(不分卡)、layer(按網路層分配)與 row(按張量列切分)三種 --split-mode。我們在雙卡全卸載(n-gpu-layers 99)下,實測三款模型處理 4K 長文件的結果。

04_llama-cpp-dual-gpu-split-mode-layer-vs-row-oom
圖 4:llama.cpp 雙卡分割模式實測圖

圖 4 的結果毫無懸念(藍色圓點為 Gemma 4 12B Q8、橘色方塊為 Gemma 4 26B Q8、綠色三角形為 Nemotron 3 Nano UD-Q4):

  • row 模式在三款模型上全數不支援(標示 U)
  • none 模式
    • 僅 11.80 GiB 的 Gemma 4 12B Q8 能順利跑完(4.69 秒)
    • Gemma 4 26B Q8 與 Nemotron 30B UD-Q4 均直接觸發 OOM(標示 N/T)
  • 唯有 layer 模式三款皆穩定過關
    • Gemma 4 26B Q8 僅需 3.00 秒
    • Nemotron 3 Nano UD-Q4 為 3.41 秒
    • Gemma 4 12B Q8 亦從 4.69 秒加速至 4.33 秒

如果你想進一步了解 Gemma 4 在不同量化下的更多表現,可以參考 Gemma 4 雙卡基準實測完整解析。

雙顯卡跑本地 AI 實測:張量權重 40:60 黃金比例、KV 快取與 uBatch 實測

鎖定 layer 模式後,真正決定多卡工作站吞吐上限的 llama.cpp 雙卡 VRAM 優化技巧,關鍵在於張量權重比例(--tensor-split)、KV Cache 精度與實體微批次大小(--ubatch-size)。

雙卡張量權重 40:60 黃金比例與顯存峰值真相

預設狀態下,llama.cpp 會以 1,1(50:50)平均切分兩張顯示卡的權重。我們將主卡 GPU 0 的權重比例從 0% 逐步掃描至 100%,同步記錄長文件請求時間與雙卡峰值顯存。

05_llama-cpp-dual-gpu-tensor-split-ratio-40-60-benchmark
圖 5:雙顯卡跑本地 AI 權重分配比例實測圖
06_dual-gpu-32gb-vram-tensor-split-peak-memory-usage
圖 6:雙顯卡跑本地 AI 32GB 顯存峰值分布圖

圖 5 與圖 6 揭露了一項多卡部署的黃金法則:

  • 25.02 GiB 的 Gemma 4 26B Q8 僅在 40:60 與 50:50 兩個區間不會 OOM,其餘偏斜比例一律直接顯存爆表(標示 N/T)。
  • 更關鍵的是,將主卡 GPU 0 權重調低為 40%(--tensor-split 0.4,0.6)比預設 50:50 更快!
  • 因為 GPU 0 兼任 main-gpu 必須負擔作業系統顯示與主計算緩衝區調度;改成 40:60 後,GPU 0 峰值顯存從 13.68 GiB 降至 11.23 GiB(副卡 GPU 1 則承接至 15.41 GiB),讓 26B Q8 長文件請求從 2.99 秒縮短至 2.92 秒,12B Q8 也從 4.32 秒進步至 4.27 秒。
受測模型安全區間與最佳比最佳耗時與雙卡 VRAM 峰值
Gemma 4 26B Q8(25.02 GiB)僅 40%~50% 安全;最佳 40:602.92 秒(50:50 為 2.99 秒);GPU0 11.23 / GPU1 15.41 GiB
Nemotron 3 Nano(21.27 GiB)30%~70% 安全;最佳 50:503.41 秒;GPU0 10.51 / GPU1 11.83 GiB
Gemma 4 12B Q8(11.80 GiB)0%~100% 全安全;最佳 40:604.27 秒(50:50 為 4.32 秒);GPU0 5.15 / GPU1 8.20 GiB

KV Cache 精度選擇 vs Batch / uBatch 預填充 5 倍加速

在雙卡 31 層全卸載配置下,我們接著測試 KV Cache 量化(f16、q8_0、q4_0)與批次大小(--batch-size、--ubatch-size)的真實收益。若你正在猶豫模型本體該選 Q4、Q6 還是 Q8 量化,也可以搭配觀看 GGUF 量化 Q4、Q6 與 Q8 雙卡實測對比。

07_local-llm-kv-cache-precision-f16-q8-q4-speed-test
圖 7:雙顯卡跑本地 AI KV Cache 精度對比圖
08_llama-cpp-batch-ubatch-size-prefill-acceleration
圖 8:llama.cpp Batch 與 uBatch 預填充加速對比圖

兩張圖給出實戰價值的結論:

  1. 顯存充裕時別降量化 KV Cache(圖 7):
    1. 8K 上下文下維持原生 f16 長文件僅需 2.99 秒
    2. 降量化成 q8_0 或 q4_0 反而因增加反量化運算而微幅升至 3.01~3.04 秒
  2. 調高 --ubatch-size 讓長文件預填充加速超過 5 倍(圖 8):
    1. 調整 --batch-size(128~4096)對長文件預填充(Batch/D)毫無影響,整條曲線平躺於 2.01 秒
    2. 但將 --ubatch-size 從 32 拉高至 512,長文件 Prefill 時間(uBatch/D)從 4.46 秒一路陡降至 0.87 秒,對企業 RAG 文件檢索與長文本分析幫助極大。

想看更極端的 128K 長文本與多人並發壓測表現,請參考 本地 LLM 128K 長文與多人並發實測。

雙 GPU 工作站實戰選購與調校避坑:雙盲驗證與參數部署指南

單次跑分很容易受到背景程式或誤差干擾。為了確保這套 llama.cpp 雙卡 VRAM 優化策略具備真實可重現性,我們在實驗最後執行了「獨立保留集雙盲驗證」與「測試前後基準漂移檢查」,讓計畫建置多卡推論主機的讀者能安心套用這組設定。

獨立保留長文件雙盲驗證(Held-Out Confirmation)

我們另外準備一組未參與參數挑選的保留長文件(約 4,088 input tokens),針對 8 個調校群組各進行 3 輪重複對照實驗。

09_dual-gpu-local-ai-heldout-document-validation
圖 9:雙顯卡跑本地 AI 保留文件驗證圖

圖 9(藍色圓點為 Selected 勝出設定、橘色方塊為 Matched control 對照組、上方 = 代表兩者選中同一參數)證實了兩項穩健的實戰紅利:

  • RATIO_LAYER 40:60 中位數為 2.92 秒(範圍 2.92~2.92 秒),穩定快於 50:50 對照組的 3.00 秒(範圍 2.99~3.00 秒)
  • 混合卸載下的 THREADS_BATCH 8 執行緒中位數為 26.63 秒(範圍 26.50~26.74 秒),明顯勝過 24 執行緒對照組的 30.90 秒(範圍 30.88~30.97 秒)。

測試前後基準漂移檢查(Baseline Drift Check)

為了排除連續高負載測試造成顯卡過熱降頻,我們在整輪實驗最開始(Before)與最結束(After),各執行 3 輪基準長文件測試。

10_dual-gpu-local-llm-baseline-drift-stability-check
圖 10:雙顯卡跑本地 AI 基準漂移穩定度圖

圖 10 四條基準線(CPU、GPU 0、GPU 1、Dual GPU)幾乎呈完美水平:

  • Dual GPU 前測中位數 2.98 秒(範圍 2.98~2.99 秒)、後測 2.99 秒(範圍 2.98~2.99 秒),誤差僅 0.01 秒
  • GPU 0 前後為 34.49 秒 vs 34.60 秒
  • GPU 1 為 35.32 秒 vs 35.39 秒
  • CPU 為 42.84 秒 vs 42.35 秒
  • 證實工作站散熱與效能高度穩定

雙顯卡選購建議與 4 步避坑部署清單

調校項目推薦參數設定實測成效與避坑重點
卸載層數--n-gpu-layers 99雙卡短請求 1.46 秒;單張 16GB 卡跑 25GB 模型限 18 層免反彈
分割與權重layer + 0.4,0.6長文件 2.99 秒降至 2.92 秒;26B Q8 偏離 40~50% 必 OOM
微批次與 FAubatch 512 + fa onPrefill 4.46 秒驟降至 0.87 秒;關 FA 總耗時翻倍(4.62 秒)
  1. 總顯存容量優先於單卡極致算力:
    1. 對想在本地跑 25GB~30GB 級別開源大模型的使用者而言,組建兩張 16GB 顯示卡(總計 32GB VRAM)的投資報酬率遠勝單張 16GB 卡
    2. 單卡一旦跨越顯存臨界點就會陷入 PCIe 瓶頸,雙卡全卸載則能直接帶來超過 6~9 倍的端到端加速。
  2. 雙卡鎖定 --split-mode layer 與 --tensor-split 0.4,0.6:
    1. 執行接近顯存上限的 Q8 模型時,把主卡 GPU 0 權重調降為 40%,為系統桌面與主計算緩衝留出空間,速度與穩定度兼得。
  3. 常駐 Flash Attention 並放大 --ubatch-size 512:
    1. 關閉 --flash-attn 會讓 Gemma 4 26B Q8 加權耗時從 2.27 秒暴增至 4.62 秒
    2. 搭配 ubatch 512 即可把長文本預填充時間壓縮 80%
    3. 調校好底層引擎後,你可以參考 Modelfile 教學:將 GGUF 匯入 Ollama 與 AnythingLLM 或 用 AnythingLLM 與 Ollama 自建 ChatGPT 替代方案,快速打造企業內部知識庫。
  4. 切勿無腦疊加極限參數:
    1. 本測試採單一變數控制法測量各參數邊界
    2. 實際生產環境若同時調高 ctx-size(如 32K 以上)並拉大 ubatch-size,務必預留至少 1~1.5 GiB 的顯存安全餘裕以免觸發 OOM。

雙顯卡跑本地 AI 常見問題

Q1:雙張 16GB 顯示卡合計 32GB VRAM,實際能完整載入多大的本地 LLM 模型?

以本次實測為例,可完整全層卸載(31 層)檔案大小 25.02 GiB 的 Gemma 4 26B Q8_0 模型,在 8K 上下文與 f16 KV Cache 設定下,雙卡峰值顯存分別為 13.68 GiB 與 12.96 GiB。

Q2:為什麼單張 16GB 顯示卡把 25GB 模型開滿 31 層,反而比只卸載 18 層更慢?

因為超過 18 層後顯存頂死在 15.90~15.92 GiB,系統被迫透過 PCIe 通道與主記憶體頻繁交換權重,導致生成速度從 34.21 tokens/s 暴跌至 7.05 tokens/s,耗時從 8.94 秒反彈至 13.19 秒。

Q3:進行 llama.cpp 雙卡 VRAM 優化時,分割模式應該選 layer 還是 row?

請鎖定 layer。
實測 row 模式在 Gemma 4 與 Nemotron 3 架構上皆顯示不支援(U),none 模式在 21 GiB 以上模型則直接觸發 OOM,唯有 layer 模式最穩定。

Q4:雙卡張量分配比例為什麼設 40:60 比預設 50:50 更快?

因為主卡 GPU 0 還需負擔作業系統顯示輸出與主計算緩衝調度;微調為 0.4,0.6 可將 GPU 0 峰值顯存從 13.68 GiB 降至 11.23 GiB,讓 4K 長文件請求從 2.99 秒縮短至 2.92 秒。

Q5:在雙 16GB 顯存環境跑 25GB 級別模型,權重比例有哪些禁忌?

實測 25.02 GiB 的 Gemma 4 26B Q8 僅有 40:60 與 50:50 兩個比例不會 OOM;只要設成 30:70 或 60:40 等更偏斜的比例,負載較重的那張卡會立刻觸發顯存不足崩潰。

Q6:雙卡顯存足夠的情況下,需要將 KV Cache 量化成 q8_0 或 q4_0 嗎?

不需要。
實測 8K 上下文下維持原生 f16 長文件僅需 2.99 秒,降量化反而因增加反量化運算微幅增至 3.01~3.04 秒,建議顯存充足時優先保留 f16。

Q7:想要加快長文件預填充(Prefill)速度,調大 batch-size 還是 ubatch-size 有效?

調大 --ubatch-size(實體微批次)才有效。實測調整 --batch-size 始終停留在 2.01 秒,但將 --ubatch-size 從 32 拉高至 512,Prefill 時間可從 4.46 秒大幅壓低至 0.87 秒。

Q8:開啟 Flash Attention(--flash-attn on)對雙卡本地 AI 速度影響有多大?

影響極大。Gemma 4 26B Q8 開啟 Flash Attention 的綜合加權耗時為 2.27 秒,若將其關閉,耗時會直接翻倍惡化至 4.62 秒,務必常駐開啟。

Q9:用雙顯示卡搭配 CPU 混合推論時,CPU 執行緒(--threads-batch)越高越好嗎?

不是。
在混合卸載模式下,雙卡預填充在 8 執行緒時最快(24.01 秒),拉高至 16~24 執行緒反而因排程競爭退步至 28.30~28.48 秒。

Q10:雙顯卡工作站長時間連續跑本地 LLM 會因為過熱降頻嗎?

只要機殼風道與電源配置得宜就不會。根據數小時基準測試前後的漂移檢查,雙卡長文件耗時分別為 2.98 秒與 2.99 秒,效能維持高度穩定。

雙顯卡跑本地 AI 實測調校與避坑總結

雙顯卡跑本地 AI 想榨出完整商業生產力,落實 llama.cpp 雙卡 VRAM 優化是關鍵。全層卸載 31 層並鎖定 Layer Split 40:60 比例,能將長文件壓縮至 2.92 秒,搭配 uBatch 512 即可輕鬆避開執行緒陷阱。

雙顯卡跑本地 AI 實測:10 項 LLM 調校避坑攻略