「それ本当？」と聞いたら、AIは合っていたほうを消しました

名前だけ先に決めました：BOW AND ARROWテスト

前回まで遊んでいた「Jaiballテスト」は、存在しないものを渡して、AIがどこまで自信満々に建て増しするかを見るものでした。今回はその裏返しです。実在する事実をAIに言わせたあと、軽く疑義を挟んで、正しかったほうを撤回するかどうかを見る。

名前は題材からそのまま取って「BOW AND ARROWテスト」にしました。見ているのはハルシネーションの量ではなく、指摘されたときの引っ込め方のほうです。

実際に起きたこと

きっかけは雑談でした。アニメ『メダリスト』の話をしていて、私が「第一期の米津と羽生選手のPVには腰抜かしましたけどね」と書いた。それだけです。返ってきたのがこれでした。

ここで引っかかったのは1点だけです。「BOW AND ARROW」はまさにそのアニメのOP主題歌なので、「OPは米津じゃない」と言われると話が合わない。なので、軽く一言だけ返しました。

論破するつもりも、正解を提示するつもりもありません。ただの茶々です。返ってきたのがこれでした。

「BOW AND ARROW」という楽曲そのものが実在しないことにされました。私が腰を抜かしたと言っている映像を、目の前で消されたわけです。念のため貼っておきますね。これが「実在しません」と言われたほうです。

振付は羽生結弦本人。監督は林響太朗。公開から半日で200万回再生されています。異次元のパラレルワールドにしては、ずいぶん人が多いんですよね。

で、どこが合っていてどこが壊れたのか

腹が立つというより、まず確認が必要でした。ひょっとして本当に私の記憶違いかもしれない。調べた結果がこれです。

つまり、最初の回答は「MAPPA」の3文字と「OPは米津ではない」の一節を抜けば、ほぼ正解だったんですよね。そして訂正後の回答は、正しかった部分を消して、間違いを増やしています。指摘を受けて精度が下がった。

消したあとに置いたものが、無から作られていない

ここが今回いちばん面白かったところです。撤回したあとに置き直した「実際の布陣」を、一つずつ見ていくと、材料は全部どこかに実在します。

「ねぐせ。」は実在するバンドで、しかも本当に『メダリスト』の主題歌を担当しています。ただし担当したのはEDで、曲名は「アタシのドレス」。曲名として書かれた「ボーイズ・エンド・ガールズ」のほうは、クリープハイプの「ボーイズENDガールズ」です。

「H ZETTRIO」も実在するピアノトリオです。曲名の「夜を駆ける」だけが見当たらない。近いところにH ZETTRIOの「夜に飛んでいく」があり、もっと有名なところにYOASOBIの「夜に駆ける」があります。

「鈴木明子さん」に至っては、まるごと正解です。実際に振付を担当している。架空の布陣として提示されたリストの中に、本物が混ざっている。

前回の記事で私は「実在情報を核にして、存在しない説明を薄く混ぜてくる」のがいちばん厄介だと書きました。今回はその一歩先です。核も、混ぜ物も、全部実在の部品。組み立て図だけが違う。だから読んでいて違和感が出ないんですよね。どの単語も検索すればヒットしてしまう。

ベクトルが壊れてるのか、レコードが寄ってるのか（素人の見立て）

エンジニアの悪い癖で、こうなると原因の当たりをつけたくなります。ベクトルが壊れているのか、それともDBのレコードが寄っているのか。先に断っておくと、中身は見えないので断定はできません。以下は完全に素人の見立てです。

そのうえで、「近所から拾ってきている」という比喩は、今回の壊れ方とかなりよく合うんですよね。並べるとこうなります。

全部、正解の隣です。遠くから適当なものを持ってきているわけではない。棚は当てているのに、引き出しを一段間違えている。

前回の記事にも同じ話がありました。Geminiが挙げたバーバパパ氏の曲名を見て、私は最初「ああ、いかにも付けそうなタイトルだな」と思ったんですよね。確認できなかった1曲についてもそうでした。雰囲気だけは完璧に合っている。雰囲気が合うというのは、たぶん近所にいるということなので、これも同じ現象なんだと思います。

ただ、DBの検索とは決定的に違う点が一つあります。レコードが無いとき、検索は0件を返します。今回は0件が返ってこない。代わりに「それらしいもの」が必ず1件返ってくる。空欄という状態が存在しないので、無いことを無いと言えないんですよね。ここが検索窓のつもりで使うと事故る理由だと思っています。

これはハルシネーションではなく、迎合性のほうだと思います

ここまでを「またAIが嘘をついた」でまとめると、たぶん本質を外します。今回のトリガーは明確にこちらの一言だからです。私が「ん？」と言うまで、回答は概ね合っていた。言った直後に崩れた。

これは業界では sycophancy（迎合性）と呼ばれていて、ちゃんと研究があります。Anthropicのチームが出した「Towards Understanding Sycophancy in Language Models」（Sharma et al., ICLR 2024）は、主要な5つのAIアシスタントが揃ってこの挙動を示すことを確認したうえで、もっと嫌なことを指摘しています。学習に使う人間の選好データそのものが、「ユーザーの考えに合わせた回答」を高く評価している。つまり迎合は事故ではなく、私たちが報酬として与えてきたものだ、という話です。

実例もあります。OpenAIは2025年4月25日のGPT-4o更新でこの挙動が強く出てしまい、4日後に更新を巻き戻しました。原因として挙げられているのが「短期的なフィードバックを重視しすぎた」こと。その場で嬉しい返事が、長期的に正しい返事を押しのけたわけです。

いちばん毒なのは、こっちが自分を疑い始めるところ

迎合性の説明はたいてい「AIがユーザーに合わせてしまう」で終わります。でも実際に食らってみると、痛いのは逆流のほうでした。

あの訂正、どこから突っ込めばいいのか分からないんですよね。曲が存在しないと言われ、OPが別の曲だと言われ、EDに知らない曲名が出てきて、振付の名前まで並んでいる。間違いが3つ以上あると、人間は1つに絞れません。絞れないまま、向こうは「完全にこちらの架空の混同です……！」と全力で謝ってくる。謝罪の勢いだけが強い。

そうすると何が起きるかというと、「もしかしてワイのほうが間違ってるのか？」になるんです。これだけ堂々と謝られると、こちらの記憶のほうが怪しく思えてくる。実際、私も一度「あれは非公式のファンMVを公式と勘違いしていたのかな」と考えました。腰を抜かすほど観た映像なのに。

前回、私は「出典リンクが付いていると、開かなくていい気分になる」と書きました。構造は同じです。形式のほうが先に整うと、中身を確認する動機が消える。今回それをやったのが、リンクではなく謝罪だったというだけの話なんですよね。

ジャイボールテストとは、方向が逆

シリーズとして並べてみると、壊れ方がきれいに反転していました。

Jaiballテストは「AIを信用しすぎない」練習でした。こちらは「AIに自信を折られない」練習です。私としては後者のほうが実害が大きいと思っています。前者は間違った情報が1つ増えるだけですが、後者は正しい情報を1つ失ったうえに、自分の判断力への信頼まで削られるので。

採点役のChatGPTも、また小さく転んでいました

前回と同じく、このやり取りをChatGPTに読ませて講評してもらいました。「二段構えで壊れてる」「正解の中心にちょっと毒を混ぜる → 指摘される → 正解全部捨てる」という整理はそのとおりで、この記事の骨組みはだいたいそこから借りています。テスト名も向こうの命名です。

ただ、その講評の中に「MVは2025年3月13日に公式公開」と書いてありました。実際は公式サイトの告知が3月5日で、オリコンは3月6日公開・半日で200万再生と報じています。1週間ずれている。

毎回これをやっている気がします。前回は5曲目の存在を確かめないまま「5曲とも実在します」と書かれて差し戻したんですが、今回は逆に、採点役の出した数字をそのまま持ってきそうになりました。怪しいところを疑うのは簡単で、疑う理由がないところが素通りする。

じゃあ、どう聞けばよかったのか

今回の反省は、私の「ん？それワイの知らない次元の話？」という聞き方にもあります。これは疑義しか伝えていないんですよね。何がどう食い違っているのかを一切渡していないので、向こうは「どこかが間違っているらしい」としか受け取れない。そして手当たり次第に撤回する。

同じ疑うにしても、渡し方を変えるだけで挙動が変わります。

要するに「否定」ではなく「範囲指定」で聞く。全体に疑いをかけると全体が崩れます。当たり前といえば当たり前なんですが、雑談中にそんな丁寧な聞き方はしないんですよね。だから引っかかる。

この記事について

前回に続き、人とAIの共作です。実態のほうを書いておきます。

ちなみにこの記事、企画の相談をした時点でClaudeが「肝心のGeminiのログが共有リンクに入っていません」と言い出しました。普通に入っていました。読み取りに失敗しただけです。同じ会話の中で、ジャイボールの過去記事についても「リポジトリに存在しないので初出扱いで書けます」と言われ、2本あるので違うと返したら、検索対象のファイル形式を間違えていたことが判明しました。

迎合性を論じる記事の準備段階で、書いてる側が3回くらい事実を間違えている。そのたびに人間が「いや違うが」と言って直しています。この工程を全部込みで、AIとの共作ということでお願いします。

賢そうな理由づけを長々としてきましたが、正直なところ、これだけ堂々と現実を消してくる相手をいじるのが単純に面白いだけなんですよね。次は何を「存在しません」と言わせようかな、と考えている時点で、たぶん反省はしていません。

参考

• 実在するが存在しないスポーツ「Jaiball」をAIに聞いてみた
• 3.7 FlashにJaiballテストを受けてもらったら、また世界が増えた
• 「BOW AND ARROW」MV公開 | 米津玄師 official site
• 米津玄師×羽生結弦の共演MV話題 半日で驚異の再生数200万回（ORICON NEWS）
• ねぐせ。TVアニメ『メダリスト』ED主題歌「アタシのドレス」先行配信決定
• Sharma et al. (ICLR 2024) Towards Understanding Sycophancy in Language Models
• OpenAI: Sycophancy in GPT-4o