BASIS：バッチと系列次元から活性化メモリを完全に分離する新しい逆伝播アルゴリズム

正確な逆伝播（backpropagation）に必要な活性化メモリは、ネットワーク深さ、文脈長、特徴次元に応じて線形にスケールし、O(L*BN)の空間ボトルネック（Bは系列バッチ基数、Nは特徴次元）を形成している。この制約は歴史的に深いニューラルネットワークのスケーリングを阻害してきた。

ランダム化自動微分はこの問題を軽減する試みがなされてきたが、歴史的に壊滅的な分散問題に悩まされている。

PR / 広告

すべてのWebサイトに AIアシスタントをつけよう。

• ✦YouTubeの要約やウェブサイトの分析など、使い方は無限大
• ✦最新AIモデルを1つに統合しコストを削減
• ✦500万人以上が利用する信頼のブランド

無料で始める

クーポンコードMERLIN20で20%オフ

本論文では、効率的な逆伝播アルゴリズムであるBASIS（Balanced Activation Sketching with Invariant Scalars）を導入する。BASISは活性化メモリをバッチと系列次元から完全に分離する。BASISは正確な誤差信号（dX）を伝播させ、完璧な勾配流を保証する一方で、重み更新（dW）は大規模に圧縮されたランク-Rテンソルを使用して計算される。

スケッチされた勾配の根本的な不安定性を解決するため、バランスハッシング（Balanced Hashing）という2つの新しいメカニズムが提案されている。これは厳密に不安定性を排除する。