Votre modèle tourne-t-il sur AWS Trainium ? Vérifiez-le
Hugging Face présente un Space et un jeu de données publics qui indiquent si des modèles Transformers populaires du Hub tournent sans modification sur AWS Trainium via torch-neuronx. Pour les modèles testés, on y trouve la pile Neuron utilisée, les paquets d'installation et un script d'exécution.
Ce que dit l'article
Hugging Face publie un billet sur la prise en charge de modèles par TorchNeuron, le backend PyTorch natif d'AWS Trainium (paquet torch-neuronx). Comme Transformers exécute son propre code de modélisation sur Trainium comme sur tout autre appareil, tout modèle du Hub pourrait en principe fonctionner ; la question est de savoir lesquels fonctionnent réellement.
Pour y répondre, deux ressources sont lancées : un Space « torch-neuronx model support » indiquant si des modèles populaires tournent sans modification sur Trainium, et un jeu de données public, aws-neuron/torch-neuronx-model-support, qui conserve les résultats. Chaque test charge le modèle sur trn2, génère 32 tokens et compare la sortie à celle d'un CPU ou fait juger la fluidité du texte ; un succès n'indique rien sur le débit. Seuls les modèles Transformers de génération de texte et image-texte vers texte tenant sur 4 appareils Trainium2 sont testés. Un script run.py est fourni, et d'autres tâches (diffusers, sentence transformers) sont prévues.
Lire l'article officiel Fiche AnnuIA
Résumé rédigé par AnnuIA avec ses propres mots, d'après la page officielle de Hugging Face. Le contenu et les droits appartiennent à l'éditeur : consultez l'article d'origine.