Anthropicの共同創業者ジャック・クラークは、AIシステムが独力でより強力な後継システムを訓練できる段階が近いと主張。ベンチマークの急速な進歩から、2028年末までに60%、2027年までに30%の確率でこれが実現される可能性があると指摘している。
Anthropicの共同創業者ジャック・クラークは、ニュースレター「Import AI」で、公開データがAI研究の自動化が間近であることを示唆していると述べている。具体的には、「人間が関与しない」形で、より強力な後継システムを訓練できるシステムのことを指している。彼は、2028年末までにこの実現確率が約60%、2027年までに30%だと推定している。
クラークは、AI研究の自動化を可能にするための構成要素がすでに大部分において存在していると長編エッセイで主張している。
クラークは主にベンチマークの動向に基づいて主張を展開している。実世界のGitHubの問題に対するAIシステムの対応能力をテストするSWE-Benchでは、成功率が約2%(Claude 2、2023年後半)から93.9%へと跳ね上がり、本質的にベンチマークを飽和させた。熟練した人間に必要とされる時間に基づいて、AIが50%の信頼性で完了できるタスクの複雑さを追跡するMETRの時間地平線測定では、GPT-3.5の約30秒から現在の最先端モデルの約12時間へと上昇している。METR研究者のアジェヤ・コトラは、2026年末までに100時間に達することが妥当だと考えている。
PostTrainBenchでは、最先端モデルが人間が構築した指示版に対してオープンウェイトモデルを微調整する能力が、人間のスコアの約半分に到達した。Anthropicはまた、
クラークは、ほとんどのAI研究を地味な「基礎的な」エンジニアリングとして描写している。スケーリング、デバッグ、パラメータ調整といった作業だ。彼によれば、モデルはすでにこうした領域で優れている。トランスフォーマー(Transformer)アーキテクチャのようなパラダイムシフトはまだAIシステムからは生じていない。クラークは、エルデス予想などの数学的成果におけるAIシステムの真の研究的創造性の初期の兆候を見出している。
アラインメントリスクは急速に積み重なる可能性がある
その含意は、クラークの言葉では、
クラークはいくつかの具体的な
また、基本的な誤差の累積という問題もある。
「機械経済」と研究の「味わい」の問題
経済的側面では、クラークは「機械経済」が大きな人間経済内で成長することを予想している。資本集約的で労働力が少ない企業であり、そのAIシステムがますます互いに取引するようになる。これは、希少な計算能力へのアクセス権を誰が持つのか、そして「速く動くデジタル世界」が「遅く動く物理世界」と出会う場所(新しい医療療法の薬物試験など)での瓶首についての問題を提起している。
AI研究者のハービー・ブラッドリーは、彼のブログ「AI Pathways」で自動化されたAI研究者について最近執筆した人物だが、クラークの主張の一部に異議を唱えている。
