1. いっかくのAI仕事術チャネル
  2. アテンションとは?AIが文脈を..
アテンションとは?AIが文脈を読める仕組みと長文が遅い理由
2026-11-16 13:53

アテンションとは?AIが文脈を読める仕組みと長文が遅い理由

おたよりを送る
AIはなぜ文脈を読めるのか、そしてなぜ長い資料を貼ると遅くなるのか。実はこの2つは同じ仕組みの表と裏で、その正体が「アテンション(Attention)」です。どの言葉に注目するかをAIが自分で決めるしくみ、「彼」が誰を指すかを見分ける例(信長と光秀)、論文「Attention Is All You Need」、全部の言葉を一度に見比べるから速く学習できる一方で長いほど計算が掛け算で増える理由、長い資料は関係するところだけ渡すコツまでをまとめています。冒頭では、TypelessとSoundcore Workの連携と、音声入力の精度はマイクで決まるという話もしています。

🕐タイムスタンプ
オープニング:アテンションとは
雑談:TypelessとSoundcore Workが連携
音声入力の精度はマイク性能で決まる
収録用のマイクを音声入力に指定する
スマホにはType-Cに挿すマイク
本題:文脈が読める理由と、長文が遅い理由
アテンションとは、注目する言葉をAIが決める仕組み
論文「Attention Is All You Need」
特徴1:「彼」が誰かを文脈から決める
注目の強さを数字で決める
Googleの解説にある「動物と通り」の例
特徴2:全部を一度に見比べ、GPUで速く学習
論文:GPU8枚・3.5日で当時の最高水準を上回る
特徴3:長いほど計算が掛け算で増える
長い資料が遅くなる正体と、実用のコツ
マルチヘッドアテンションと層の重ね
まとめ

🔗 AIを仕事に取り入れていくSubstack(特典PDFあり):
https://ikkaku.substack.com/

#アテンション #生成AI #LLM #AI活用
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c

感想

まだ感想はありません。最初の1件を書きましょう!

13:53

コメント

スクロール