Mambaは、従来のTransformerが持つ計算の非効率性を解消する新しい選択的状態空間モデル（Selective SSM）です。入力に応じたデータ選択機能とハードウェア最適化により、数百万トークンの長いシーケンスでも線形スケーリングで高速に処理します。
言語やゲノミクス等の多領域で最高水準の精度を達成。Transformerと比較して、推論スループットは5倍向上し、モデルサイズが2倍の既存モデルに匹敵する性能を示します。現代の深層学習における強力な次世代バックボーン候補です。
感想
まだ感想はありません。最初の1件を書きましょう！
スクロール