你的模型能在AWS Trainium上运行吗？查一查
Hugging Face介绍了一个Space和公开数据集，用来显示Hub上热门Transformers模型能否通过torch-neuronx在AWS Trainium上不经修改运行。对已测试的模型，会给出所用的Neuron软件栈、安装包和运行脚本。
文章要点
Hugging Face发表文章，介绍TorchNeuron（AWS Trainium的原生PyTorch后端，包名torch-neuronx）的模型支持情况。由于Transformers在Trainium上运行自己的建模代码，与在其他设备上一样，原则上Hub中的任何模型都可能运行；问题在于哪些模型实际可用。
为此推出了两项资源：名为torch-neuronx model support的Space，用于显示热门模型能否在Trainium上不加修改地运行；以及保存测试结果的公开数据集aws-neuron/torch-neuronx-model-support。每次测试在trn2上加载模型、生成32个token，并与CPU运行结果比较，或由小型评判模型检查文本是否流畅；通过并不代表吞吐量。仅测试能放入4个Trainium2设备的文本生成和图文转文本的Transformers模型。文中提供run.py脚本，并计划增加更多任务。
本摘要由 AnnuIA 根据 Hugging Face 官方页面用自己的话撰写。内容及版权归发布方所有，请阅读原文。