AI推論（inference）向け特化チップへの需要が高まる中、新興ネオクラウド企業General Computeがインテル出資のSambaNova製チップを採用し、3億ドル相当を発注。GPUの約2〜3倍となる毎秒600〜700トークンの処理速度を武器に、AIクラウド市場への参入を本格化させている。
AIモデルを動かすコンピュータへの需要は加速し続けているが、この分野で事業を営む企業が乗り越えるべき障壁は二つある。適切なチップを調達すること、そしてそれを収益化できるデータセンターに導入することだ。
新興ネオクラウド（neocloud）企業のGeneral Computeは、AIモデルの推論処理をレンタルサービスとして提供する。
まず「適切なチップ」とは何か。GPUへの需要は急騰しているが、学習済みモデルの実行には必ずしも最適ではないというのが業界の定説になりつつある。モデルが実際にレスポンスを生成する推論フェーズは、学習時とは異なる計算要件を持ち、そのために設計された新世代のチップが台頭している。NvidiaによるGroqへの200億ドルの買収（昨年12月）と、先週行われたCerebrasの570億ドル規模のIPOがその方向性を示している。
しかし両社ともキャパシティが逼迫している中、General ComputeのCEOフィン・プクロウスキー氏とCTOジェイソン・グッディソン氏は別の選択肢を見つけた。インテル出資の推論特化チップメーカー、SambaNova製の特化チップを採用したのだ。SambaNovaSは近年、シリコンバレーの話題から少し遠ざかっていたが、それも変わりそうだ。
今年SambaNovaが投入予定の新チップは、より柔軟なアーキテクチャを持ち、推論処理中のコンテキスト保持に多くのメモリを活用する。同社によれば、GPUだけでなくGroqやCerebrasが手がける他の特化チップをも上回る性能を発揮するという。プクロウスキー氏によれば、新チップの処理速度は毎秒600〜700トークンに達し、GPUの約250トークン/秒と比較して大幅に高速だという。
General ComputeはSambaNova製SN50チップを3億ドル相当発注しており、同チップを最初に展開するネオクラウドになると述べている。
これらのチップは、もう一つの課題——データセンターへの導入——の解決にも寄与する。プクロウスキー氏はコロケーション契約（他社施設に自社ハードウェアを設置する形態）を積極的に推進しており、交渉先は従来のデータセンター事業者にとどまらない。
General Computeは先週クラウドサービスを正式にローンチし、強力なオープンソースLLMであるMiniMax 2.7の実行速度において現時点で最速だと主張している。
ベンチャー投資家のジョー・ハッセルマン氏は、2021年にGroqへの投資で推論ブームをいち早く捉えた人物だ。今年、AI分野に特化した新ファンド「Evercrest Capital Partners」を立ち上げ、General Computeをその第一号投資先とした。同氏は、SambaNovaとGeneral Compute の連携にCoreweaveとNvidiaの関係、あるいはGroqのチップ製造と旧クラウド事業の組み合わせとの類似性を見出している。
「健全なミックスが必要だ」と同氏は述べる。
