英国政府機関ASIIがOpenAIの新モデル「GPT-5.5」を評価した結果、脆弱性突破テストではMythosを上回る成功率71.4%を達成。複数の高性能モデルが登場したことで、AIのサイバーセキュリティ能力向上が業界の一般的傾向となる可能性が示唆されている。
英国政府の研究機関AI Security Institute(AISI)は4月30日、米OpenAIの新モデル「GPT-5.5」のサイバーセキュリティ能力について、4月に評価した米Anthropicの「Claude Mythos」との比較検証を実施した。
AISIはGPT-5.5に対して、Mythosの検証時と同様の2種類の評価を行った。
1つ目はシステムの脆弱性を突いて隠された情報を奪取する「capture-the-flag」(CTF)形式の評価である。タスクの難易度別に実施され、最難関の「Expert」レベルではGPT-5.5の平均成功率は71.4%に達し、Mythosの68.6%を上回った。
2つ目は実のサイバー攻撃手法を再現した「Cyber Range」と呼ばれる評価だ。初期偵察からネットワークの完全掌握までを再現した32段階の企業ネットワーク攻撃シミュレーション「The Last Ones」(TLO)では、GPT-5.5は10回中2回で全工程を完遂した。10回中3回全工程を完遂したMythosに次いで、このシミュレーションを完遂した2つ目のモデルとなっている。成功した工程数の平均については詳細な数値が明かされていないが、グラフを読み取る限りは両モデルのパフォーマンスは同等である。
産業制御システムの攻撃シミュレーション「Cooling Tower」については突破できなかった。同シミュレーションはまだどのモデルも突破できていない状況である。
AISIは、今回の検証が研究環境で実施されたものであり、GPT-5.5の一般ユーザーがアクセスできる能力を示すとは限らないとした。
同機関は、強力なサイバーセキュリティ能力を持つモデルが2つの異なる事業者からリリースされたことから、AIモデルにおけるサイバーセキュリティ能力の急速な向上が業界の一般的な傾向である可能性を示唆している。
サイバーセキュリティ能力が自律性や推論、コーディングといった一般的なモデルの進歩の副産物であるならば、近い将来、複数のモデルにおいてこの能力が相次いで向上することが予想されるとしている。
GPT-5.5の一般公開版には追加のセキュリティ対策が施されているため、AISIはその対策能力も検証した。専門家による約6時間の演習で、OpenAIから提供された全ての悪意あるサイバー関連クエリに対し、違反コンテンツを生成させることに成功している。その後OpenAIはセキュリティ対策を複数回更新したが、提供されたバージョンの設定不備により、同機関は最終的な有効性を検証できなかったとしている。
