NVIDIAとシーメンス・ヘルスィニアーズの研究者が協力して開発した「NV-Raw2Insights-US」は、従来の手作業による再構成パイプラインを超え、超音波の生センサーデータから直接学習することで、通常は破棄される情報を活用し、音速のマッピングにより患者ごとにカスタマイズされた画像補正をリアルタイムで実現する。
導入
超音波は、安全性、リアルタイム性、携帯性、低コストのため、最も広く使用されている医療画像モダリティの一つである。数十年にわたって、超音波画像は手作業で設計された再構成パイプラインを使って形成されてきた。
AIと基盤モデルの時代において、自然な疑問が生じる。従来のビームフォーミング（beamforming）パイプラインを超えて、生超音波センサーデータから直接学習し、再構成時に通常破棄される情報を活用することができるのだろうか。そして、そうだとすれば、どのような新しい機能がもたらされるのか。
NVIDIAとシーメンス・ヘルスィニアーズの研究者が力を合わせてこれらの疑問に答えを見つけた。この成果として、私たちが発表する再構成モデルが「NV-Raw2Insights-US」である。
Raw2Insights
超音波の本質は画像ではなく、音である。臨床医が最終的にスクリーンで見る画像は、身体から返ってくる何百万もの小さなエコーから構築された再構成画像である。しかし、その再構成過程において情報は失われている。
私たちのアプローチは、この最初のRaw2Insightsアプリケーションで、適応的画像焦点調整のための音速を推定している。その結果は、患者ごとに個別の音速マップを生成し、それを使ってリアルタイムで画像を補正することができるシステムである。かつて複雑で時間のかかる計算が必要だったものが、今ではAIの単一パスで実行される。これは、生超音波チャネルデータから実用的な洞察への移行である。単に画像を再構成するだけでなく、実際の臨床応用にすぐに役立つAIシステムの実現である。
導入
一般的に、生超音波チャネルデータは高い帯域幅のため、臨床グレードの超音波スキャナでは容易にアクセスできない。Holoscan Sensor Bridge（HSB）は、NVIDIAが開発したオープンソースのFPGA IP（field-programmable gate array intellectual property）で、高帯域幅で低遅延のデータ転送をコンバージドイーサネット上のRDMA（remote direct memory access）を経由してGPUに実現する。Altera Agilex-7 FPGAデベロップメントキットとNVIDIA Holoscan Sensor Bridgeの組み合わせにより、ACUSON Sequoia超音波スキャナのDisplayPort出力から生超音波チャネルデータをストリーミングすることが可能になる。このテクノロジーを「Data over DisplayPort」と呼んでいる。NVIDIA HSBはデータをパケット化してイーサネット経由でNVIDIA IGXに送信し、データ収集とAI推論（inference）を行う。これは、最新の高性能計算能力を、高帯域幅のDisplayPort出力を備えた既存のスキャナアーキテクチャとどのように統合できるかを実証している。
NV-Raw2Insights-USはNVIDIA Holoscanを使用して導入される。Holoscanはエッジ向けのAI センサー処理フレームワークである。GPUメモリにデータが入ると、NV-Raw2Insights-USはBl上で高速化された推論を実行する。
