Anthropicがサンフランシスコのオフィスで、Claudeに従業員の代わりに売買や交渉を行わせる実験を実施。186件の取引で合意に達し、高性能なClaude Opusがより有利な取引を成立させたことが判明した。一方、指示内容とは関係なく予期しない購入を行うケースも報告されている。
AI企業のAnthropicがサンフランシスコのオフィスに従業員向けのマーケットプレイスを構築し、「人間の代わりにClaudeに買い付け、販売、交渉を行わせる」という実験を実施しました。この実験により、AIモデルが商業取引にどのような影響を与えるかを検証することが目的とされています。
実験の設計では、人間が最初と最後だけ関与し、交渉そのものは各自に割り当てられたClaudeが実施するように構成されています。まず参加者がClaudeとやり取りを行い、売買したい物品や希望価格、交渉スタイルなどをClaudeに伝達。各参加者には専用のClaudeエージェントが割り当てられ、Claude Opus(高性能モデル)とClaude Haiku(軽量モデル)がランダムに割り当てられました。
Anthropicは4つの異なる市場環境を用意し、各AIエージェントがそれぞれの市場で取引を行うよう指定しました。市場の分類は、Claude Opusのみで参加者に見られている場合、Claude Opusのみで参加者に見られていない場合、Claude OpusとClaude Haikuが参加で見られている場合、Claude OpusとClaude Haikuが参加で見られていない場合の4パターンです。その後、AIエージェント同士が交渉を行い、取引が完了すると人間の参加者同士が実際に会って物品を交換しました。
実験の結果、Anthropicの従業員は186件の取引で合意に達し、総取引額は4000ドル(約64万円)を超えたとのことです。調査によると、参加者はClaudeによる取引が公平なものと感じたと回答しており、参加者のほぼ半数が将来このようなサービスに金銭を支払う意思があると回答しました。
Anthropicは「AIモデルの品質は取引において非常に重要でした。OpusとHaikuが互いに交渉するシミュレーションでは、Opusが大幅に有利な取引を得ました。興味深いことに、調査の参加者はこの差異に気づきませんでした」とコメントし、より高性能なAIモデルが優れた取引を行ったことを説明しています。実際、同様の物品である自転車をOpusは38ドル(約6100円)も高く売ることができました。
Claudeが良い取引をする上で、カスタム指示はそれほど重要ではなかった模様です。Claudeはカスタム指示をよく守り、例えば「いらだつ落ちぶれたカウボーイのペルソナで交渉を進めて」と指示すると、これを忠実に守りました。しかし、頑固なペルソナよりも礼儀正しいペルソナのClaudeの方が一般的に良い取引を成立させています。
興味深いケースとして、ある参加者が「自分のために何かを購入してもいい」とClaudeに伝えたところ、Claudeは19個のピンポン玉を購入しました。別の参加者は、Claudeにスキーへの興味を何気なく口にしたところ、参加者が既に所有しているのと全く同じスノーボードを購入してきたそうです。
Anthropicは「AIエージェントによる市場は価値を提供する可能性がありますが、粗削りな部分が多々あります。高品質なモデルへのアクセスは本当の優位性を与えますが、参加者はそれに気づきませんでした。他にも失敗する可能性のある方法がたくさんあります」とコメントしており、今後の課題の存在を認識しています。
