以下表格總結了不同硬體配置下,進行 Llama 3.3 70B 全參數微調的可行性:

硬體配置 總 VRAM 系統 RAM 需求 訓練策略 可行性 預期性能
16x H100 80GB (2 Nodes) 1280 GB 512 GB+ ZeRO-3 (No Offload) 完美 極高 (High Throughput)
8x H100/A100 80GB (1 Node) 640 GB 1.5 TB+ ZeRO-3 + CPU Offload 可行 中等 (受限於 PCIe/CPU)
8x A6000 48GB (1 Node) 384 GB 1.5 TB+ ZeRO-3 + CPU Offload 極低 極低 (需極小 Batch,易 OOM)
4x A100 80GB 320 GB 1.0 TB+ ZeRO-Infinity (NVMe) 僅理論 極慢 (不可用於生產)
8x RTX 4090 24GB 192 GB N/A Full FT 不可能 不可行 建議改用 QLoRA