「ローカルLLM」、100万円のマシンを買う前に余ったPCで試す。顧客情報や社内データを外に出さずにAIを使うなら、社内で動かすローカルLLMが現実的な選択肢です。高額なマシンをいきなり買わず、余っているマシンで試すこと、大事なのはメモリの容量であること、クラウドとは難易度で使い分けることをお話しします。
🕐タイムスタンプ
00:00 オープニング:社内用AIにローカルLLM
01:13 結論:クラウドの代わりではない。まず余っているマシンで試す
01:50 なぜ今「外に出さない」なのか
02:40 向いているのは士業や医療関係
03:35 求められるのは社内資料の検索(RAG)
04:01 3つの問題点
04:22 DGX SparkやMac Studioは100万円前後〜
05:35 高額投資をせず、余っているマシンで試す
06:46 RTX 5070機とMacを比べてみた
07:39 大事なのは処理能力よりメモリの容量
07:55 ツールとモデルの候補:Ollama、Gemma 4、Qwen
08:56 メモリ64GB以上なら「Strata」
10:12 クラウドとローカルは難易度で使い分ける
11:30 まとめ
🔗 AIを仕事に取り入れていくSubstack(特典PDFあり):
https://ikkaku.substack.com/
#AI活用 #ローカルLLM #社内AI #情報漏洩対策