UniMamba：状態空間モデルと注意機構を統合した時系列予測フレームワーク

概要

多変量時系列予測は、エネルギー、金融、環境監視など多くの領域において基本的な要素となっている。複雑な時間的依存関係と変数間相互作用は継続的な課題である。既存のTransformerベースの手法は注意機構を通じて時間的相関を捉えるが、二次の計算コストの問題を抱えている。一方、Mambaなどの状態空間モデルは効率的な長文脈モデリングを実現する一方で、明示的な時間パターン認識が不足している。

PR / 広告

すべてのWebサイトに AIアシスタントをつけよう。

• ✦YouTubeの要約やウェブサイトの分析など、使い方は無限大
• ✦最新AIモデルを1つに統合しコストを削減
• ✦500万人以上が利用する信頼のブランド

無料で始める

クーポンコードMERLIN20で20%オフ

そこで、効率的な状態空間ダイナミクスと注意ベースの依存学習を統合した統一的な空間時間予測フレームワーク「UniMamba」が導入される。UniMambaはFFT-ラプラス変換とTCN（Temporal Convolutional Network）により強化されたMamba Variate-Channel Encoding Layerを採用し、グローバルな時間的依存関係を捉える。さらにSpatial Temporal Attention Layerにより、変数間相関と時間発展を同時にモデル化する。Feedforward Temporal Dynamics Layerはさらに時間的ダイナミクスを処理する。