Profiling do TorchNeuron (parte 1): profiling em nível de sistema no AWS Trainium
Este artigo da Amazon ensina a fazer profiling da inferência do PyTorch no AWS Trainium com o backend TorchNeuron, a tabela key_averages() e o Neuron Explorer. Compara três implementações de RMSNorm: torch.rms_norm e torch.compile reduzem o tempo no dispositivo para cerca de um sexto da versão ingênua.
O que diz o artigo
Em 21 de outubro de 2026, a Amazon publicou no blog da Hugging Face «Profiling TorchNeuron (Parte 1)», um guia para iniciantes sobre profiling em nível de sistema no AWS Trainium. O foco é entender por que um modelo é lento, e não só acelerá-lo, usando o TorchNeuron, o backend nativo de PyTorch de código aberto para o Trainium, que oferece execução eager e torch.compile e se integra ao Neuron Kernel Interface.
O artigo explica como configurar o profiler com NeuronConfig, chamar torch.neuron.synchronize() no laço, ler a tabela key_averages() e abrir os traces no Neuron Explorer. O experimento compara três versões de RMSNorm: operações PyTorch ingênuas (2.355 µs de tempo Neuron, 6 chamadas), torch.rms_norm (403 µs, 1 chamada) e a versão ingênua com torch.compile (376 µs, 1 chamada). O autor conclui que a fusão reduz o tempo a cerca de um sexto. Os scripts estão nos exemplos do torch-neuronx, e a parte 2 tratará do profiling no nível do dispositivo.
Ler o artigo oficial Ficha AnnuIA
Resumo escrito pela AnnuIA com suas próprias palavras, com base na página oficial de Hugging Face. O conteúdo e os direitos pertencem ao editor: consulte o artigo original.