データベース採点を強化学習の報酬に:ThinkingBoxでエージェントを後学習する
MicrosoftとHugging Faceは、エージェントの最終的なデータベース状態を自動チェックして強化学習の報酬に使うThinkingBox-Trainingを紹介している。Qwen3.8-27Bに50ステップのGRPOを適用すると、平均成功率が51.70%から60.78%に上昇した。
記事の内容
2026年10月22日に公開されたMicrosoftとHugging Faceの共同記事で、以前のThinkingBoxの投稿の続編です。ベンチマークの実行可能なチェックを報酬として再利用する強化学習の構成ThinkingBox-Trainingを紹介しています。ThinkingBox-Benchは507のタスクで構成され、各タスクはエージェントの最終的なデータベース状態を期待結果と比較し、チェックは1か0を返します。
ベンチマーク外の学習タスクは、Jeffreys事後分布を使ってオフラインで推定した方策相対難易度で選ばれ、プールは固定です。基準の実験では、Qwen3.8-27BをGRPOで50ステップ、187タスク、24基のH100 GPUで微調整します。平均pass@1は51.70%から60.78%に、20回すべてで成功したタスクは38から107に増えました。信頼できるタスク1件あたりの推定コストは24.36ドルから8.00ドルに下がりましたが、実際の請求額ではなく比較指標です。コードは公開されており、ワークフローは合成で、一部のチェックにはLLM審査が使われると著者は述べています。
この要約は、Hugging Face の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。