Seu modelo roda no AWS Trainium? Consulte
A Hugging Face apresenta um Space e um conjunto de dados públicos que mostram se modelos Transformers populares do Hub rodam sem modificações no AWS Trainium via torch-neuronx. Para os modelos testados, indica a pilha Neuron usada, os pacotes de instalação e um script de execução.
O que diz o artigo
A Hugging Face publica um artigo sobre o suporte de modelos no TorchNeuron, o backend nativo de PyTorch para o AWS Trainium (pacote torch-neuronx). Como o Transformers executa seu próprio código de modelagem no Trainium como em qualquer outro dispositivo, em princípio qualquer modelo do Hub poderia rodar; a questão é quais realmente rodam.
Para responder, são lançados dois recursos: um Space chamado torch-neuronx model support, que informa se modelos populares rodam sem modificação no Trainium, e um conjunto de dados público, aws-neuron/torch-neuronx-model-support, que guarda os resultados. Cada teste carrega o modelo em trn2, gera 32 tokens e compara a saída com uma execução em CPU ou pede a um modelo juiz que verifique se o texto é fluente; passar não diz nada sobre vazão. Só são testados modelos do Transformers de geração de texto e imagem-texto para texto que caibam em 4 dispositivos Trainium2. Há um script run.py, e mais tarefas estão planejadas.
Ler o artigo oficial Ficha AnnuIA
Resumo escrito pela AnnuIA com suas próprias palavras, com base na página oficial de Hugging Face. O conteúdo e os direitos pertencem ao editor: consulte o artigo original.