PyTorch 2.15中的MPS
PyTorch 2.15为Apple silicon Mac新增FP8张量支持,并加快语言模型解码(尤其是混合专家模型),更多GPU线性代数和部分运算改用专用Metal内核。需要macOS 15或更高版本和Python 3.11或更高版本;2.16将让注意力计算完全在Metal上运行。
文章要点
Hugging Face的PyTorch团队在2026年10月20日的文章中介绍了MPS后端的进展,该后端让PyTorch运行在Apple Silicon Mac的GPU上,对应版本2.15(仍为候选发布版)。团队用Hub上的真实模型测试,在上游修复问题,并越来越多地用专用Metal内核取代MPSGraph。
新内容包括:借助F.scaled_mm支持FP8;更快的LLM解码(MoE层比2.14快最多5至6.5倍,softmax约快8倍);新增线性代数和卷积运算;可从Python控制的MPS流。在M3 Ultra上,Qwen3.6-35B-A3B从9.4提升到61.3 tokens/s;Wan2.2的VAE解码由超过270GiB降到约8GiB,ComfyUI中损坏图像的错误也已修复。最低要求macOS 15和Python 3.11,测量数据来自团队自己。
本摘要由 AnnuIA 根据 Hugging Face 官方页面用自己的话撰写。内容及版权归发布方所有,请阅读原文。