هل يمكننا الوثوق بنماذج اللغة في الحكم على جِدّة فكرة بحثية؟

ما يقوله المقال

في 27 أكتوبر 2026 نشرت Ai2 دراسة «Old Ideas, Novel Problems» حول مدى موثوقية نماذج اللغة الكبيرة في الحكم على جدّة الأفكار البحثية. يتضمن الإصدار ورقة بحثية ومعياراً وبيانات وشيفرة وخط معالجة آلياً لبناء مجموعات تقييم جديدة. وتشير Ai2 إلى أن «حكام الجدّة» هؤلاء كثيراً ما يُتحقق منهم على أوراق بشرية فقط، مع أنهم يُستخدمون بشكل متزايد لتقييم أفكار مولّدة بالذكاء الاصطناعي.

يستند المعيار إلى مراجعات ICLR 2026، ويضم 154 فكرة بشرية عالية الجدّة و145 أقل جدّة. وفي ستة حكام جُرّبوا، غيّرت تعديلات صغيرة في صياغة الطلب الأحكام كثيراً: فتراجعت دقة GPT-5.4 على أزواج مختلطة بشرية ومولّدة من 93.5% إلى 40.9%. ولم يفد البحث والاستدلال الإضافيان دائماً، وأدى مقيّمان مخصصان أداءً أضعف من طلب بسيط مع Claude Opus 4.6. وتخلص Ai2 إلى أن تقييم الجدّة آلياً ما زال مشكلة مفتوحة؛ ولا تغيير في أي منتج.

اقرأ المقال الرسمي بطاقة AnnuIA

ملخص كتبته AnnuIA بكلماتها الخاصة اعتمادًا على الصفحة الرسمية لـ Hugging Face. المحتوى والحقوق تعود إلى الناشر، يُرجى قراءة المقال الأصلي.

جميع الأخبار