Работает ли ваша модель на AWS Trainium? Проверьте
Hugging Face представляет Space и открытый набор данных, показывающие, запускаются ли популярные модели Transformers с Hub без изменений на AWS Trainium через torch-neuronx. Для проверенных моделей указаны стек Neuron, пакеты установки и скрипт запуска.
О чём статья
Hugging Face публикует заметку о поддержке моделей в TorchNeuron — нативном бэкенде PyTorch для AWS Trainium (пакет torch-neuronx). Поскольку Transformers выполняет собственный код моделей на Trainium так же, как на любом другом устройстве, в принципе может работать любая модель из Hub; вопрос в том, какие работают на деле.
Для ответа запущены два ресурса: Space torch-neuronx model support, показывающий, запускаются ли популярные модели на Trainium без изменений, и публичный набор данных aws-neuron/torch-neuronx-model-support с результатами. Каждый тест загружает модель на trn2, генерирует 32 токена и сравнивает вывод с запуском на CPU либо поручает небольшой модели-судье проверить связность текста; успех ничего не говорит о пропускной способности. Тестируются только модели Transformers для генерации текста и image-text-to-text, помещающиеся на 4 устройства Trainium2. Есть скрипт run.py; планируются и другие задачи.
Читать официальную статью Карточка AnnuIA
Краткое изложение написано AnnuIA своими словами по официальной странице Hugging Face. Содержание и права принадлежат издателю: читайте оригинальную статью.