DGX Spark 64G 能跑哪些大模型？

DGX Spark 64G 的简短答案

64 GB，273 GB/s Unified LPDDR5X（带宽与 128 GB 版相同，均为 273 GB/s。GB10 的 CPU、GPU 和 DGX OS 本身共用这一块内存。NVIDIA 没有公布 GPU 可用的固定比例，所以本站按整块内存判定能否装下——超出它的模型一律装不下，因为没有另外的系统内存可以溢出。）。索引中 90 个模型里有 82 个能在 4K 上下文下从容运行，83 个至少能加载。

能装下的最大模型

Llama 4 Scout 17B (16E) — Q3_K_M 下约 55.9 GB —— 4K 时仅剩 8.1 GB，上下文再拉长就要动用这点余量。

留有余量的选择

Jamba 1.5 Mini — Q4_K_M 下约 33.0 GB —— 占用不到显存的 60%，留下 31.0 GB 给长上下文或第二个进程。

速度上限

Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 273 GB/s 给出的硬上限约为 59 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。

你会先撞到的墙

瓶颈是带宽，以及只有一块内存。64 GB 能装下任何单张消费级显卡都装不下的模型，但其中每一个字节——CPU、GPU 和 DGX OS 都一样——都来自同一组 273 GB/s的 LPDDR5X，只有独显旗舰的几分之一。它后面没有可以溢出的系统内存，所以本站把超过这块内存的模型一律判为装不下。本页最大的稠密模型 Llama 3.2 90B Vision Instruct（Q3_K_M）在它上面的上限约为 7 tok/s；混合专家（MoE）模型每个 token 只读取激活的专家，实际速度远快于它的总参数量所暗示的。