ChatGPTのボット検知システム「Turnstile」の内部構造が解析により明らかに

ChatGPTが利用するCloudflareのボット検知システム「Turnstile」の内部構造および関連するSentinelチャレンジに関する詳細な解析結果が、技術ブログサイトのBuchodiによって公開されました。ネットワークトラフィックの傍受とSDKの難読化解除を通じた解析により、ボットがどのように検知され、トークンが生成されるのかという仕組みが明らかにされています。

ChatGPTからの全メッセージはブラウザ内で秘密裏に実行されるCloudflare Turnstileプログラムをトリガーします。このプログラムは単なるブラウザのフィンガープリンティングにとどまらず、「ブラウザ」「Cloudflareネットワーク」「ChatGPTアプリケーション自体」の3つのレイヤーにわたる55ものプロパティをチェックします。具体的には、WebGL・画面解像度・ハードウェア情報・フォント測定・DOM操作・ストレージ利用状況といったブラウザ固有の情報に加え、Cloudflareのエッジヘッダー情報も収集されます。さらにChatGPTのReactアプリケーションが完全にレンダリング・ハイドレーションされているかどうかも確認しています。多層的なチェックを行うことにより、ブラウザのフィンガープリントが偽装されていたとしても、実際のChatGPTシングルページアプリケーション(SPA)を正常にレンダリングしないボットは検知され失敗します。

Turnstileのバイトコードは受信時に暗号化されています。まず準備レスポンスに含まれるBase64エンコードされたフィールド(turnstile.dx)は準備リクエストからのトークン(p)とのXOR演算によって復号されます。外側のレイヤーの復号は両者が同じHTTP通信でやり取りされるため比較的容易です。

外側のレイヤーを復号することにより約89個の仮想マシン(VM)命令が得られますが、VM命令の中に実際のフィンガープリントプログラムを含む19KBの暗号化されたデータブロックが含まれており、外側のレイヤーとは異なるXORキーを使用します。当初このキーはperformance.now()から派生するものと考えられていましたが、詳細な解析の結果、キーはVM命令の中に浮動小数点リテラルとして直接埋め込まれていることが判明しました。キーはサーバーによって生成されバイトコードに埋め込まれ、解析者はキーを知ることで内部プログラムを復号できます。

完全な復号チェーンはHTTPリクエストとレスポンスのみで完結し、以下の5ステップで構成されます。1つ目は準備リクエストからpを読み取ること、2つ目は準備レスポンスからturnstile.dxを読み取ることです。3つ目はbase64decode(dx)とpをXOR演算し外部バイトコードを取得し、4つ目は19KBのブロブの後に続く5引数命令を探し、その最後の引数をキーとして取得します。最後の5つ目のステップで、base64decode(blob)とキーの文字列表現をXOR演算し、内部プログラム(417〜580 VM命令)を取得します。

TurnstileはSentinelシステムが提供する3つのチャレンジのうちの1つです。残りの2つは、Signal Orchestrator(SO)とPoWです。Signal Orchestrator(SO)はキーダウン・ポインター移動・クリックなどのユーザーインタラクションイベントリスナーをインストールし、window.__oai_so_*プロパティを監視することでキーストロークのタイミングやマウスの速度といった行動バイオメトリクスを追跡する、行動生体認証のレイヤーです。

全てのSentinelチャレンジに関する分析結果によると、プログラムの復号率は377/377で100%、ユニークユーザー数は32、プログラムごとのプロパティは55で全サンプルで同一です。プログラムごとの手順は417〜580で平均480、固有のXORキーは41、SOの挙動特性は36、PoWフィンガープリントフィールドは25となっています。PoW解決時間については72%が5ms未満です。

XORキーを用いて難読化することにより、複数の運用上の目的が達成されています。静的解析からフィンガープリントチェックリストを隠蔽し、ウェブサイト運営者(OpenAI)がリバースエンジニアリングなしに生のフィンガープリント値を読み取ることを防いでいます。また各トークンを一意にすることによりリプレイ攻撃を防いでいます。ただし実際には同じデータストリーム内でのXOR演算に過ぎないため、簡単な読み取りであればともかく、詳細な解析には時間を要します。