00:00

-00:00

ローカルLLMが遅い？「推論エンジン」で速さが変わる

ローカルLLMの「推論エンジン」とは何か、言葉の定義からお話ししています。モデルはファイルで、それを動かすのが推論エンジン。音楽のMP3とプレイヤーにたとえながら、同じモデルでも動かす仕組みで速さが変わる理由と、遅いと感じたときに見直す順番を整理しました。 🕐タイムスタンプ 00:00 オープニング：推論エンジンって何？ 00:53 OllamaとStrataは何が違うのか 01:13 結論：モデルはファイル、動かすのは推論エンジン 01:25 そもそも「推論」とは何か 02:23 ダウンロードするモデルの正体 03:12 MP3とプレイヤーのたとえ 03:37 推論エンジンがやっていること 04:00 言葉の整理：モデル・推論エンジン・実行環境・ハーネス 05:37 なぜ推論エンジンはいろいろあるのか 06:06 違い1：どの機械向けに作られているか 06:41 違い2：メモリの使い方 06:53 違い3：モデルのタイプに合わせた工夫 07:35 Ollamaが悪いわけではない 07:50 遅いと感じたら、買い替える前にできること 08:45 注意点：エンジンを変えても賢さは変わらない 09:36 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #ローカルLLM #AI活用 #推論エンジン #Ollama

4日前

このチャンネルの新着放送

ローカルLLMに100万円は必要？ゲーミングPCで変わる選び方

17分

11時間前

ローカルLLMが物足りない？原因はモデルより「ハーネス」かも

11分

2日前

ローカルLLMは仕事で使っていい？「ライセンス」で確認すること

17分

3日前

ローカルLLMは本当に外に出ない？安全の基本は「つながない」

8分

4日前

社内資料で答えるAI「RAG」って何？Difyなら画面で作れる

7分

6日前

ローカルLLMが遅いなら「MoE型」を試す。速さが変わる理由

9分

6日前

「ローカルLLM」はどの現場で求められる？医療・士業から広がる理由

9分

11月1日

「情報漏洩」は防ぎきれない。会社は今から何を整える？

11分

10月31日

おすすめの放送

「個人の自由マンと嘘つき私服マラソン男の話」

1時間15分

エバースのモンキー125cc

#87「意外とNetflix楽しんでるザ・パンチ」

34分

ザ・パンチのぺちゃぺちゃラジオ

#95 高校生の友達を家に泊めてみたら、意外と良いことがあった話

#83「M-1終了後ガクトの文句が長すぎる事に山田が黙れと咆哮した話など」

#43 かなりコンプライアンス【ゲスト：マリーマリータコス】

30分

ボブのコーラのかなり健やかラジオ

#51M-1グランプリ2026三回戦大阪イチウケセンリーズきたしろです

「AIの情報が多すぎて追いきれない」「ツールを入れても、現場が使ってくれない」 ——そんな中小企業の方へ、毎日5分お届けします。配信者は、25年のITエンジニア経験を持つ一人社長・AIコンサルタントの「いっかく」。こんな話をしています：・Claude・Anthropicなど最新AI動向を中小企業目線で解説・ツール選びより大事な「言語化力」と「業務解像度」の話・AIに任せていい仕事・任せてはいけない仕事の線引き・技術者視点で見たAIとの付き合い方・ちょっと尖った視点 note.comでも発信中。音声では、ブログに書ききれない本音や裏話も。