Läuft Ihr Modell auf AWS Trainium? Jetzt nachschlagen
Hugging Face stellt einen Space und einen öffentlichen Datensatz vor, die zeigen, ob beliebte Transformers-Modelle aus dem Hub unverändert über torch-neuronx auf AWS Trainium laufen. Für getestete Modelle werden der verwendete Neuron-Stack, Installationspakete und ein Ausführungsskript angegeben.
Worum es im Artikel geht
Hugging Face veröffentlicht einen Beitrag zur Modellunterstützung in TorchNeuron, dem nativen PyTorch-Backend für AWS Trainium (Paket torch-neuronx). Da Transformers seinen eigenen Modellierungscode auf Trainium wie auf jedem anderen Gerät ausführt, könnte im Prinzip jedes Modell im Hub laufen; die Frage ist, welche tatsächlich funktionieren.
Dafür gibt es zwei neue Ressourcen: einen Space namens torch-neuronx model support, der zeigt, ob populäre Modelle unverändert auf Trainium laufen, und einen öffentlichen Datensatz, aws-neuron/torch-neuronx-model-support, der die Ergebnisse speichert. Jeder Test lädt das Modell auf trn2, erzeugt 32 Tokens und vergleicht die Ausgabe mit einem CPU-Lauf oder lässt ein kleines Judge-Modell die Flüssigkeit des Textes prüfen; ein Bestehen sagt nichts über den Durchsatz. Getestet werden nur Transformers-Modelle für Textgenerierung und Bild-Text-zu-Text, die auf 4 Trainium2-Geräte passen. Ein Skript run.py liegt bei; weitere Aufgaben sind geplant.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von Hugging Face. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.