🖥️ exo 安裝教學——把你的 Mac 接成一台 AI 叢集

一句話：一台 Mac 的記憶體不夠跑大模型時，exo 讓你把多台裝置的記憶體與算力接在一起用，不用買一台更貴的機器。

這正好接上 L4「多方怎麼看」的爭議一：EXO Labs 自己實測過把 DGX Spark 跟 Mac Studio 混合使用（Spark 做 prefill、Mac 做 decode），8B 模型測到 2.8 倍加速——exo 的分散式能力就是這類混合方案的底層引擎。

macOS：Xcode、uv、node、rust（nightly 版）、macmon

Linux：uv、node（v18 以上）、rust（nightly 版）

硬體：裝置要有足夠 VRAM／統一記憶體；若要用 RDMA 加速多機通訊，需要 Thunderbolt 5（M4 Pro Mac mini 或更新的機種才有）。

官方 README 的原始指令（macOS，從原始碼裝）：

git clone https://github.com/exo-explore/exo
cd exo/dashboard && npm install && npm run build && cd ..
uv run exo

三行做完三件事：抓原始碼 → 建 dashboard 前端 → 用 uv 直接跑起來（不用另外裝 python 虛擬環境，uv 會處理）。

跑起來後：dashboard 開在 http://localhost:52415/，用瀏覽器打開就能看到裝置狀態、模型載入情形。

API 端點也在同一個服務上——不用另外設定，跑起來就同時是 dashboard 也是 API server。

相容三種常見介面：OpenAI Chat Completions、Claude Messages、Ollama API。

意思是：如果你原本的程式是打這三家的 API 格式，改個 base URL 指到你自己的 exo 服務，程式碼幾乎不用改。

單機沒問題，多機加速要看硬體：exo 用 RDMA over Thunderbolt 把多裝置間的延遲砍掉 99%，但這需要 Thunderbolt 5——只有 M4 Pro Mac mini 或更新的機種才有。舊機種仍可組叢集，只是通訊速度沒有 RDMA 加成。

這跟 L3 硬體評比頁講的「Thunderbolt 5」是同一件事，選硬體時可以互相對照。

裝完之後：

• 回 L4 多方怎麼看，看 exo 混合方案在「Mac vs DGX Spark」爭議裡扮演什麼角色
• 去 L3 硬體評比，確認你的裝置有沒有 Thunderbolt 5（決定要不要走 RDMA 加速）
• 去 L3 量化教學，了解怎麼選模型量化等級，讓單機也能塞下更大模型