四台MacStudio组建AI集群！配备1.5TB内存，硬件总成本接近30万

12月25日消息，近日知名工程师Jeff Geerling完成了一项挑战，借助macOS 26.2最新的系统特性，将四台M3 Ultra Mac Studio成功整合，构建出一台配备1.5TB统一内存的AI计算集群。

这次集群能够成功，关键在于macOS 26.2所引入的核心功能——RDMA over Thunderbolt 5。借助Thunderbolt 5接口，该功能可让一台Mac直接读取另一台Mac的内存，整个过程无需CPU介入。

在Geekbench 6多核测试环节，这个集群毫不费力地超过了Dell Pro Max with GB10与Framework Desktop，其双精度浮点数性能甚至突破了1TFLOPS，并且闲置状态下的功耗还不到10W。

在AI推理性能测试中，单机部署Llama 3.2 3B模型时，token处理速度可达每秒154.6个；而运行更大规模的Llama 3.1 70B模型时，每秒仍能稳定处理14.1个token，这两项测试结果均显著领先于同类竞品。

此外，在尝试运行DeepSeek R1 671B超大型模型时，其他系统都无法正常运作，而配备1.5TB统一内存的Mac Studio集群则成功应对了这一挑战。

RDMA over Thunderbolt 5在该AI集群里起到了关键作用，启用RDMA后，内存访问延迟从TCP的300微秒降低到了50微秒以下。

在利用exo系统对Qwen3 235B进行测试时，四台设备每秒能够处理31.9个token，这一速度相比llama.cpp TCP快出一倍还多；而DeepSeek V3.1的表现更为出色，每秒可处理32.5个token。

尽管RDMA性能优异，不过在高负载状态下有时还是会发生系统崩溃的现象

另外需要留意的是，由Mac Studio搭建的AI集群在硬件上的总投入大约是40000美元（折合人民币约28万元），和另外两个平台相比，这个价位要更高一些。