ローカルLLMを入れてみて「動いたけど物足りない」と感じるなら、原因はモデルや推論エンジンより、手足にあたる「ハーネス」かもしれません。私が実際にローカルで使っていることと速度、Open WebUIでもたつくところ、DeepSeekが8月に公開したDeepSeek Harnessを入れて別物になった話をしています。
🕐タイムスタンプ
00:00 オープニング:ジェンスン・ファンの「ローカルが当たり前に」
01:00 出先から収録しています
01:47 私がローカルで使っていること
02:52 悩みはストレージの容量
03:23 秒間85トークンまでチューンアップ
04:01 もうじきローカルの時代が来る
04:21 「動いたけど物足りない」の原因はハーネス
05:08 モデル・推論エンジン・ハーネス
05:46 モデルは頭、ハーネスは手足
06:06 Open WebUIでは手足がもたつく
07:09 DeepSeek Harnessとは
07:54 ハーネスを変えただけで別物に
08:41 推論エンジンを選ばない
09:02 まとめ:モデルを変える前にハーネスを見直す
09:38 安いマシンでも実用レベルの速度が出る
🔗 AIを仕事に取り入れていくSubstack(特典PDFあり):
https://ikkaku.substack.com/
#ローカルLLM #AI活用 #ハーネス #DeepSeek