Hugging Face ❤️ TorchTPU: TPUs, nativ
Hugging Face meldet, dass TorchTPU, ein natives PyTorch-Backend, Transformers, Diffusers und Kernels direkt auf Google-TPUs laufen lässt, ohne die früheren PyTorch/XLA-Umwege. 96,5 % der auf TPU ausgeführten Bibliothekstests bestehen; 34 Probleme wurden gemeldet, 19 sind behoben.
Worum es im Artikel geht
Am 20. Oktober 2026 stellte Hugging Face TorchTPU vor, ein natives PyTorch-Backend, das Googles TPUs als ein weiteres Gerät behandelt. Transformers, Diffusers und Kernels laufen nun direkt auf TPU: Man lädt ein Modell vom Hub und verschiebt es auf das Gerät „tpu“.
Bisher mussten PyTorch-Nutzer PyTorch/XLA verwenden, dessen verzögerte Ausführung und Neukompilierungen überraschen konnten. TorchTPU bringt optimierte Pallas-Kernel, verteiltes Training und eine torch.compile-Integration. Benchmarks auf einem Cloud TPU v6e-4 zeigen etwa Qwen-Image-2.1 in 3,5 s kompiliert gegenüber 8,0 s im Eager-Modus sowie bis zu 21,5-fach schnelleres Dekodieren bei einem Mixture-of-Experts-Modell mit TPU-Kernels. Hugging Face gibt an, dass 96,5 % der auf TPU ausgeführten Transformers-Tests bestehen, die Arbeit noch läuft und ein nächtliches CI geplant ist.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von Hugging Face. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.