क्या आपका मॉडल AWS Trainium पर चलता है? देखें
Hugging Face ने एक Space और सार्वजनिक डेटासेट प्रस्तुत किया है, जो दिखाता है कि Hub के लोकप्रिय Transformers मॉडल torch-neuronx के ज़रिए AWS Trainium पर बिना बदलाव चलते हैं या नहीं। परीक्षित मॉडलों के लिए Neuron स्टैक, इंस्टॉल पैकेज और रन स्क्रिप्ट दी जाती है।
लेख में क्या कहा गया है
Hugging Face ने TorchNeuron, यानी AWS Trainium के नेटिव PyTorch बैकएंड (पैकेज torch-neuronx), में मॉडल समर्थन पर एक पोस्ट प्रकाशित की है। चूँकि Transformers Trainium पर अपना मॉडलिंग कोड वैसे ही चलाता है जैसे किसी अन्य डिवाइस पर, सैद्धांतिक रूप से Hub का कोई भी मॉडल चल सकता है; सवाल यह है कि कौन-से वास्तव में चलते हैं।
इसके लिए दो संसाधन जारी किए गए हैं: torch-neuronx model support नाम का Space, जो बताता है कि लोकप्रिय मॉडल Trainium पर बिना बदलाव चलते हैं या नहीं, और परिणाम सहेजने वाला सार्वजनिक डेटासेट aws-neuron/torch-neuronx-model-support। हर परीक्षण मॉडल को trn2 पर लोड करता है, 32 टोकन बनाता है और आउटपुट की तुलना CPU रन से करता है या छोटे जज मॉडल से पाठ की प्रवाहिता जँचवाता है; पास होना थ्रूपुट के बारे में कुछ नहीं बताता। केवल 4 Trainium2 डिवाइस में समाने वाले टेक्स्ट-जनरेशन और इमेज-टेक्स्ट-टू-टेक्स्ट Transformers मॉडल परखे जाते हैं। run.py स्क्रिप्ट दी गई है और अन्य कार्य जोड़ने की योजना है।
आधिकारिक लेख पढ़ें AnnuIA प्रोफ़ाइल
यह सारांश AnnuIA ने Hugging Face के आधिकारिक पृष्ठ के आधार पर अपने शब्दों में लिखा है। सामग्री और अधिकार प्रकाशक के हैं: कृपया मूल लेख पढ़ें।