長期タスク対応のLLM決定エージェントとスキルバンクの共進化フレームワーク

長期的な相互作用環境は、エージェントのスキル活用能力を評価するためのテストベッドとなっています。このような環境では、複数ステップの推論、多くのタイムステップにわたる複数のスキルの連鎖、遅延報酬と部分的な観測可能性の下での堅牢な意思決定が要求されます。ゲームはエージェントのスキル活用を環境内で評価するための優れたテストベッドです。大規模言語モデル（LLM）はゲームプレイングエージェントとして有望な代替案を提供していますが、複数のエピソード全体にわたって構造化されたスキルを発見、保持、再利用するメカニズムが不足しているため、一貫性のある長期的な意思決定に苦労することが多くあります。

本研究ではCOSPLAYという共進化フレームワークを提案しています。このフレームワークではLLM決定エージェントが学習可能なスキルバンクからスキルを検索して行動を導く一方で、エージェント管理型スキルパイプラインが未ラベル付きロールアウトから再利用可能なスキルを発見してスキルバンクを形成します。このフレームワークは決定エージェントのより優れたスキル検索と行動の学習を促進します。