🔢 量化教學——為什麼 14GB 的模型能塞進 3.5GB

一句話：你的機器記憶體/VRAM 有限，全精度模型往往裝不下——量化讓同一個模型能塞進更小的機器。

這跟 L3 硬體評比頁講的容量直接相關：Mac mini M4 Pro 64GB 統一記憶體，裝一個 F16 的 70B 模型（約 140GB）絕對裝不下，但量化到 Q4（約 35GB）就有機會。

一句話：GGUF（GPT-Generated Unified Format）是量化模型的標準檔案格式，取代舊的 GGML 格式，被 llama.cpp 和 Ollama 這類工具廣泛使用。

一個 GGUF 檔案把模型權重、tokenizer、metadata 全部打包成一個檔——下載一個檔就能跑，不用另外湊齊零件。

perplexity 是模型「預測下一個字準不準」的指標，數字越小代表量化造成的品質損失越小。

一句話：「K」代表混合精度——模型不同層用不同的位元深度，比全部統一用同一種精度更聰明。

例如：比較重要的 attention 層可能用 6-bit，比較不敏感的 feedforward 層用 4-bit。這種智慧分配就是為什麼 GGUF 的 K-quants（如 Q4_K_M）能做到「每一位元換到更多品質」，比單純無腦 4-bit 量化更划算。

預設答案：Q4_K_M——體積砍掉約 75%，品質損失很小，是尺寸與品質的最佳平衡點，多數教學文章的預設建議。

機器有餘裕：選 Q5_K_M（品質更好一點）。要接近無損（關鍵應用）：選 Q6_K。差異都不算大，先從 Q4_K_M 開始最實際。

一句話：本機推論速度主要被「記憶體頻寬」卡住，不是算力——模型檔案越小，要搬動的資料越少，跑起來越快。

舉例：一個 8B 模型 Q8 版本約 8GB、Q4 版本約 4.5GB，在同一張顯卡上，Q4 版本大約快 1.7 倍——純粹因為要搬的資料量變少了。

懂了量化之後：

• 去 L3 硬體評比，用「記憶體頻寬」對照這頁的速度原理，選最適合你的機器
• 回 L2 全景導覽 的 Models 分區，看排行榜上每個模型標的量化等級
• 去 L3 exo 安裝教學，了解單機裝不下時的分散式方案