¿Tu modelo funciona en AWS Trainium? Compruébalo
Hugging Face presenta un Space y un conjunto de datos públicos que muestran si modelos Transformers populares del Hub funcionan sin modificar en AWS Trainium mediante torch-neuronx. Para los modelos probados indica la pila Neuron usada, los paquetes de instalación y un script de ejecución.
Qué dice el artículo
Hugging Face publica un artículo sobre la compatibilidad de modelos con TorchNeuron, el backend nativo de PyTorch para AWS Trainium (paquete torch-neuronx). Como Transformers ejecuta su propio código de modelado en Trainium igual que en cualquier otro dispositivo, en principio cualquier modelo del Hub podría funcionar; la cuestión es cuáles lo hacen realmente.
Para responderla se lanzan dos recursos: un Space llamado torch-neuronx model support, que indica si modelos populares funcionan sin modificaciones en Trainium, y un conjunto de datos público, aws-neuron/torch-neuronx-model-support, que guarda los resultados. Cada prueba carga el modelo en trn2, genera 32 tokens y compara la salida con una ejecución en CPU o pide a un modelo juez comprobar que el texto sea fluido; aprobar no dice nada sobre el rendimiento. Solo se prueban modelos de Transformers de generación de texto e imagen-texto a texto que quepan en 4 dispositivos Trainium2. Se ofrece un script run.py y se prevén más tareas.
Leer el artículo oficial Ficha AnnuIA
Resumen redactado por AnnuIA con sus propias palabras a partir de la página oficial de Hugging Face. El contenido y los derechos pertenecen al editor: consulte el artículo original.