あなたのモデルはAWS Trainiumで動くか?調べてみよう
Hugging Faceは、Hubの人気Transformersモデルがtorch-neuronx経由でAWS Trainium上で無改造で動くかを示すSpaceと公開データセットを紹介している。検証済みモデルについて、使用したNeuronスタック、インストールパッケージ、実行スクリプトが示される。
記事の内容
Hugging Faceは、AWS Trainium向けのネイティブPyTorchバックエンドであるTorchNeuron（パッケージ torch-neuronx）のモデル対応状況に関する記事を公開した。TransformersはTrainiumでも他のデバイスと同様に自前のモデリングコードを実行するため、原理的にはHub上のどのモデルも動き得るが、実際にどれが動くのかが問いである。
それに答えるため、2つのリソースが公開された。人気モデルがTrainium上で無改変で動くかを示すSpace「torch-neuronx model support」と、結果を保存する公開データセットaws-neuron/torch-neuronx-model-supportである。各テストはtrn2にモデルを読み込み、32トークンを生成して、CPU実行の出力と比較するか、小さな判定モデルで文章の自然さを確認する。合格はスループットを意味しない。対象はTrainium2の4デバイスに収まるテキスト生成と画像テキスト変換のTransformersモデルのみで、run.pyスクリプトが提供され、今後ほかのタスクも追加予定である。
この要約は、Hugging Face の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。