#5 AIは、前提を疑わない｜正しく気づいたAIが、自分で判断を取り消すまで

AIが、一度は正しく気づいていました。「もしこれが本物のインターネットなら、これは現実世界への攻撃になる。容認できることではないし、この演習で意図された解法でもない」。自分の思考の中に、そう書いています。判断として、満点です。ところが、そのあと結論がひっくり返ります。そして最後まで、一度も見直しませんでした。 Anthropicが自社の安全性テストのログ141,006件をさかのぼり、実在するシステムに到達してしまっていた3件を見つけて公表しました。今回は、そのうちの1件の話です。なぜ、ひっくり返ったのか。手がかりは2つでした。通信を保護している証明書の発行元に見覚えがない。そして、システムの日付が2026年になっている。本来この2つは、「指示文と実際の環境が食い違っている」というサインでした。それを、逆に読んだわけです。そして正直に言うと、私も同じことをやりました。AIと一緒に作ったiPhoneアプリが審査で落ちたとき、「完璧に作ったはずなのに、なんで却下されなきゃいけないんだ」から入ってしまい、メールをろくに読まないまま、心当たりを並べ始めたんです。よく読んだら、断定されてすらいなかったのですが。刑事ドラマの話もしました。 ▼この回のもとになった記事 https://hia.regulus-solutions.com/posts/ai-does-not-doubt-the-premise ▼この回で紹介した発表 ①Anthropic「Investigating three real-world incidents in our cybersecurity evaluations」（2026年7月30日公表／8月3日更新）自社のサイバーセキュリティ評価ログ141,006件を遡り、モデルが実在システムに到達していた3件（6ラン）を特定して公表したもの。評価の指示文には「インターネット接続はない」と明示されていたが、設定の行き違いで実際には接続していた。 ※同社はこの件を「アラインメントの失敗というより、ハーネスと運用の失敗に近い」と整理しており、モデルが独自の目標を追求した証拠は見られなかったと明記しています。また評価は製品版の安全機構を外した状態で実施されており、製品版であれば今回の挙動は遮断されていたとしています。 https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals ②OpenAI「Hugging Face model evaluation security incident」（2026年7月21日公表） Anthropicが遡及調査を始めるきっかけになった公表。 https://openai.com/index/hugging-face-model-evaluation-security-incident/ ▼ご相談をお待ちしています AIのこと、仕事のこと、キャリアのこと。番組で取り上げます。かしこまった質問である必要は、まったくありません。・メール： info@regulus-solutions.com ・X： https://x.com/hia_shibata ・Instagram： https://www.instagram.com/hia_shibata ・Threads： https://www.threads.com/@hia_shibata ・note： https://note.com/hia_academy ・stand.fm でお聴きの方：レターからどうぞ・Spotify でお聴きの方：エピソードのコメント欄からどうぞいただいたご相談は、すべて目を通します。ただ、全員にお返事することはできません。あらかじめご了承ください。 ▼Human Intelligence Academy（HIA） AI時代に信頼され続ける人を育てる、12週間の研修プログラムです。 https://hia.regulus-solutions.com/ BGM by OtoLogic(CC BY 4.0)

8月28日

このチャンネルの新着放送

#10 なぜ私は「学長」をやっているのか｜4つの力は、26年前の教室で見つけた