AIはなぜ文脈を読めるのか、そしてなぜ長い資料を貼ると遅くなるのか。実はこの2つは同じ仕組みの表と裏で、その正体が「アテンション(Attention)」です。どの言葉に注目するかをAIが自分で決めるしくみ、「彼」が誰を指すかを見分ける例(信長と光秀)、論文「Attention Is All You Need」、全部の言葉を一度に見比べるから速く学習できる一方で長いほど計算が掛け算で増える理由、長い資料は関係するところだけ渡すコツまでをまとめています。冒頭では、TypelessとSoundcore Workの連携と、音声入力の精度はマイクで決まるという話もしています。
🕐タイムスタンプ
00:00 オープニング:アテンションとは
01:13 雑談:TypelessとSoundcore Workが連携
02:31 音声入力の精度はマイク性能で決まる
03:41 収録用のマイクを音声入力に指定する
04:10 スマホにはType-Cに挿すマイク
05:15 本題:文脈が読める理由と、長文が遅い理由
06:01 アテンションとは、注目する言葉をAIが決める仕組み
06:33 論文「Attention Is All You Need」
07:09 特徴1:「彼」が誰かを文脈から決める
08:21 注目の強さを数字で決める
08:45 Googleの解説にある「動物と通り」の例
09:14 特徴2:全部を一度に見比べ、GPUで速く学習
09:59 論文:GPU8枚・3.5日で当時の最高水準を上回る
10:17 特徴3:長いほど計算が掛け算で増える
11:01 長い資料が遅くなる正体と、実用のコツ
11:41 マルチヘッドアテンションと層の重ね
12:39 まとめ
🔗 AIを仕事に取り入れていくSubstack(特典PDFあり):
https://ikkaku.substack.com/
#アテンション #生成AI #LLM #AI活用