AIに外の道具をつなぐとき、怖いのはウイルスではなく「説明文を疑わずに信じる」AIの性質でした。
今日の元になった記事はこちら(無料で読めます)。
https://note.com/tatsu_kawata/n/n17164c4c7a78
・AIは道具に添えられた説明文を読んで動く。そこに人の目に見えにくい命令を仕込まれると、正しい手順として従ってしまう
・一度確かめても安心できない。使うたびの結果に混ざった命令や、承認後の書き換え、要約を頼んだ資料の中の命令も効く
・自動で承認する設定にしていた時期は、AIが何をしても見ないまま通る状態だった(実害は出なかった)
今日の持ち帰り: AIに道具をつないでいるなら、「常に許可」の設定を1つだけ切って、確認の関所を1つ戻す
#AI活用
#AIエージェント
#Claude
#AI自動化
#業務効率化
#ひとり社長