MPS in PyTorch 2.15
PyTorch 2.15 bringt FP8-Tensoren auf Apple-Silicon-Macs und beschleunigt das Decoding von Sprachmodellen, besonders bei Mixture-of-Experts-Modellen, mit mehr GPU-Lineartalgebra und Operationen in dedizierten Metal-Kernels. Erforderlich sind macOS 15 oder neuer und Python 3.11 oder neuer; 2.16 soll Attention komplett auf Metal ausführen.
Worum es im Artikel geht
In einem Beitrag vom 20. Oktober 2026 stellt das PyTorch-Team von Hugging Face Fortschritte beim MPS-Backend vor, das PyTorch auf den GPUs von Apple-Silicon-Macs ausführt, mit Version 2.15 (noch Release Candidate). Das Team testet echte Modelle vom Hub, behebt Probleme upstream und ersetzt MPSGraph zunehmend durch dedizierte Metal-Kernel.
Neu sind unter anderem FP8-Unterstützung mit F.scaled_mm, schnelleres LLM-Decoding (MoE-Schichten bis zu 5- bis 6,5-mal schneller als in 2.14, Softmax etwa 8-mal schneller), zusätzliche Operationen der linearen Algebra und für Faltungen sowie von Python steuerbare MPS-Streams. Auf einem M3 Ultra steigt Qwen3.6-35B-A3B von 9,4 auf 61,3 Tokens/s. Das Wan2.2-VAE-Decoding passt in etwa 8 GiB statt in mehr als 270 GiB, und ein Fehler, der Bilder in ComfyUI beschädigte, ist behoben. Mindestens macOS 15 und Python 3.11 sind nötig; die Messwerte stammen vom Team selbst.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von Hugging Face. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.