Профилирование TorchNeuron (часть 1): системное профилирование на AWS Trainium
В статье Amazon показано, как профилировать инференс PyTorch на AWS Trainium с TorchNeuron, таблицей key_averages() и Neuron Explorer. Сравниваются три реализации RMSNorm: torch.rms_norm и torch.compile сокращают время на устройстве примерно до одной шестой от наивной версии.
О чём статья
21 октября 2026 года Amazon опубликовала в блоге Hugging Face «Profiling TorchNeuron (часть 1)» — руководство для начинающих по профилированию на уровне системы на AWS Trainium. Цель — понять, почему модель медленная, а не просто ускорить её; используется TorchNeuron, открытый нативный бэкенд PyTorch для Trainium, поддерживающий eager-режим и torch.compile и интегрирующийся с Neuron Kernel Interface.
В статье объясняется, как настроить профайлер через NeuronConfig, вызывать torch.neuron.synchronize() в цикле, читать таблицу key_averages() и открывать трассы в Neuron Explorer. В эксперименте сравниваются три варианта RMSNorm: наивные операции PyTorch (2355 мкс времени Neuron, 6 вызовов), torch.rms_norm (403 мкс, 1 вызов) и наивный вариант с torch.compile (376 мкс, 1 вызов). Автор делает вывод, что слияние сокращает время примерно в шесть раз. Скрипты находятся в примерах torch-neuronx; во второй части разберут профилирование на уровне устройства.
Читать официальную статью Карточка AnnuIA
Краткое изложение написано AnnuIA своими словами по официальной странице Hugging Face. Содержание и права принадлежат издателю: читайте оригинальную статью.