Оценка баз данных как награда в RL: дообучение агентов с ThinkingBox
Microsoft и Hugging Face описывают ThinkingBox-Training: автоматическая проверка итогового состояния базы данных после работы агента служит наградой в обучении с подкреплением. После 50 шагов GRPO на Qwen3.8-27B средний успех вырос с 51,70 % до 60,78 %.
О чём статья
Эта совместная статья Microsoft и Hugging Face, опубликованная 22 октября 2026 года, продолжает прежнюю публикацию о ThinkingBox. В ней представлен ThinkingBox-Training — настройка обучения с подкреплением, использующая исполняемые проверки бенчмарка как награды. В ThinkingBox-Bench 507 задач; каждая сравнивает итоговое состояние базы данных агента с ожидаемым, проверка возвращает 1 или 0.
Обучающие задачи вне бенчмарка отбираются по оценённой офлайн сложности относительно политики с помощью бета-апостериорного распределения Джеффриса, набор остаётся фиксированным. В эталонном запуске Qwen3.8-27B дообучают методом GRPO в течение 50 шагов на 187 задачах на 24 GPU H100. Средний pass@1 вырос с 51,70 % до 60,78 %, а число задач, решённых во всех 20 попытках, — с 38 до 107. Оценоч��ая стоимость надёжно решённой задачи снизилась с 24,36 до 8,00 доллара, это сравнительный индекс, а не реальный счёт. Код опубликован; авторы отмечают, что рабочие процессы синтетические, а меньшая часть проверок использует LLM-судью.
Читать официальную статью Карточка AnnuIA
Краткое изложение написано AnnuIA своими словами по официальной странице Hugging Face. Содержание и права принадлежат издателю: читайте оригинальную статью.