00:00
-00:00

アテンションとは?AIが文脈を読める仕組みと長文が遅い理由

5
AIはなぜ文脈を読めるのか、そしてなぜ長い資料を貼ると遅くなるのか。実はこの2つは同じ仕組みの表と裏で、その正体が「アテンション(Attention)」です。どの言葉に注目するかをAIが自分で決めるしくみ、「彼」が誰を指すかを見分ける例(信長と光秀)、論文「Attention Is All You Need」、全部の言葉を一度に見比べるから速く学習できる一方で長いほど計算が掛け算で増える理由、長い資料は関係するところだけ渡すコツまでをまとめています。冒頭では、TypelessとSoundcore Workの連携と、音声入力の精度はマイクで決まるという話もしています。 🕐タイムスタンプ 00:00 オープニング:アテンションとは 01:13 雑談:TypelessとSoundcore Workが連携 02:31 音声入力の精度はマイク性能で決まる 03:41 収録用のマイクを音声入力に指定する 04:10 スマホにはType-Cに挿すマイク 05:15 本題:文脈が読める理由と、長文が遅い理由 06:01 アテンションとは、注目する言葉をAIが決める仕組み 06:33 論文「Attention Is All You Need」 07:09 特徴1:「彼」が誰かを文脈から決める 08:21 注目の強さを数字で決める 08:45 Googleの解説にある「動物と通り」の例 09:14 特徴2:全部を一度に見比べ、GPUで速く学習 09:59 論文:GPU8枚・3.5日で当時の最高水準を上回る 10:17 特徴3:長いほど計算が掛け算で増える 11:01 長い資料が遅くなる正体と、実用のコツ 11:41 マルチヘッドアテンションと層の重ね 12:39 まとめ 🔗 AIを仕事に取り入れていくSubstack(特典PDFあり): https://ikkaku.substack.com/ #アテンション #生成AI #LLM #AI活用
3日前
おすすめの放送
stand.fmの無料アプリでもっと便利に
Google Play Store
App Store
about stand.fm
放送が更新されたらプッシュでお知らせされるので最新の放送を聞き逃さない。
about stand.fm
バックグラウンド再生で他のアプリを使用しながら、放送やライブが聴ける。
about stand.fm
放送やライブ、コミュニティでコメントが送れて配信者とコミュニケーションができる。
about stand.fm
アプリだけでかんたんに音声を収録して投稿できて音声の編集もできる。
jasrac
JASRAC許諾番号
9024598002Y31016
9024598004Y31016
nextone
NexTone許諾番号
000006134
© 2026 stand.fm, Inc.