ニュースでよく見る「量子化」「4ビット版」「1ビットで動く」を、スマホ写真の画質にたとえて一言で説明します。本来は自宅のパソコンに入らないほど大きなAIが、なぜ手元で動くのか。画質を落としすぎるとどうなるのか、用途での選び方までお話しします。
🕐タイムスタンプ
00:00 オープニング:大きなAIがなぜ普通のパソコンに入るのか
01:09 前回さらっと出した「量子化モデル」
01:43 手元で動くAIには、サイズの壁がある
02:06 中身が公開されたオープンウェイトのモデル
02:36 手元で動かすと何がいいのか
02:50 性能が高いAIほどファイルが大きい
03:15 量子化は、写真の画質を落とすのと同じ
04:12 4ビット、1ビットは画質の設定
04:24 メタやGemmaの例
04:55 Ollamaのモデルは、最初から量子化版が多い
05:34 画質を落としすぎると、細かいところで粗が出る
05:56 用途で画質を選ぶ
06:26 ニュースで「1ビットで動く」と見たら
06:51 まとめ
🔗 AIを仕事に取り入れていくSubstack(特典PDFあり):
https://ikkaku.substack.com/
#AI活用 #量子化 #ローカルLLM #オープンウェイト