क्या हम LLM पर भरोसा कर सकते हैं कि वे बताएँ कि कोई शोध विचार नया है या नहीं?
Ai2 ने अध्ययन, बेंचमार्क और कोड जारी किया है, जो दिखाता है कि शोध विचारों की नवीनता आँकने वाले LLM अस्थिर निर्��य देते हैं; एक परीक्षण में प्रॉम्प्ट के छोटे बदलावों से सटीकता 50 से अधिक अंक बदली। जानकारी खोज और अतिरिक्त तर्क से भी नतीजे भरोसेमंद ढंग से नहीं सुधरे।
लेख में क्या कहा गया है
27 अक्टूबर 2026 को Ai2 ने «Old Ideas, Novel Problems» जारी किया, जो इस बात का अध्ययन है कि LLM शोध विचारों की नवीनता को कितनी भरोसेमंदी से परख पाते हैं। रिलीज़ में एक पेपर, बेंचमार्क, डेटा, कोड और नए मूल्यांकन सेट बनाने की स्वचालित पाइपलाइन शामिल है। Ai2 बताती है कि ऐसे «नवीनता जज» अक्सर केवल मानव-लिखित पेपरों पर जाँचे जाते हैं, जबकि उनका उपयोग AI-जनित विचारों को परखने में बढ़ रहा है।
बेंचमार्क ICLR 2026 की पीयर समीक्षाओं पर आधारित है, जिसमें अधिक नवीन 154 और कम नवीन 145 मानव विचार हैं। परखे गए छह जजों में प्रॉम्प्ट के शब्दों में छोटे बदलाव से फ़ैसले बहुत बदल गए: मानव और जनित जोड़ियों पर GPT-5.4 की सटीकता 93.5% से 40.9% हो गई। अधिक खोज और तर्क हमेशा मददगार नहीं रहे, और दो विशेष मूल्यांकक साधारण Claude Opus 4.6 प्रॉम्प्ट से कमज़ोर रहे। Ai2 का निष्कर्ष है कि नवीनता का स्वचालित मूल्यांकन अभी खुली समस्या है; किसी उत्पाद में बदलाव नहीं है।
आधिकारिक लेख पढ़ें AnnuIA प्रोफ़ाइल
यह सारांश AnnuIA ने Hugging Face के आधिकारिक पृष्ठ के आधार पर अपने शब्दों में लिखा है। सामग्री और अधिकार प्रकाशक के हैं: कृपया मूल लेख पढ़ें।