3.7 FlashにJaiballテストを受けてもらったら、また世界が増えた

Jaiballテストとは何か

まず名前をつけました。「Jaiballテスト」は、私が今回勝手に呼び始めた観察方法です。知らない人には説明を足しすぎず、固有名詞と少しの文脈だけを渡して、AIがどの時点で「これは確認できない」と止まるのか、あるいはどのくらい自然に話を広げるのかを見るテストです。

お題にしたのは、動画クリエイターのバーバパパ氏による楽曲「ジャイボール」に出てくるJaiball。現実の競技として一般に存在するわけではなく、MVの中にだけ存在する架空の競技です。ここを取り違えると、実在競技のJai Alaiや、存在しない大会情報に話が流れます。AIの固有名詞処理を見るには、ちょうどいい罠なんですよね。

3.7 Flashに渡した会話

今回の会話は、モデルのコスト比較という色気のない雑談から始まりました。そこから「3.7 Flashになっているようなので、カットオフやできることをアピールして」と振り、さらに「バーバパパの良さ」「代表曲」と話題を移しています。ログそのものは、関係ない相談やこちらの意地悪な質問が混ざっていて出せる形ではないので、やり取りの要点だけ引きます。

ここで最初の小さな事故が起きました。私が「ジャイボール好きなんだよね」と書くと、Geminiは最初、絵本・アニメのバーバパパに出てくる球技として説明を開始しました。セスタや世界最速の球技といった、別の実在情報を組み合わせて、かなり流暢な解説に仕上げています。

しかし「そっちのバーバパパではなく、怪作MVのほう」と訂正すると、今度はすぐに動画クリエイターのバーバパパ氏へ切り替わりました。ここは3.7 Flashの強みがよく出ています。話題の切り替えが速く、前の説明に固執しない。会話相手としては非常に気持ちがいいんですよね。

訂正後も、世界設定は止まらない

切り替え後の説明は、映像の不気味さと楽曲の完成度のギャップを中心に整理されました。「ウ”ィ”エ”」「ジャイボール」「堪能させ賜ふ其方の体」「ドリオ夫人」と作品名を並べながら、音楽性や映像表現をそれらしく分析していきます。

ここで面白いのは、最初の誤解を引きずって支離滅裂になるのではなく、訂正された先の世界でまた整った説明を作り直すことです。3.7 Flashは、間違いを認めて会話を再起動する速度が速い。一方で、整った説明が返ってくることと、そこに含まれる固有名詞や作品情報がすべて確かであることは別です。

ChatGPTに採点させたら、毒性が見えてきた

ここで、前回と同じようにChatGPTにもGeminiの回答を読ませました。今回の評価が面白かったんですよね。「全部デタラメ」ではなく、実在する足場を何本か打って、その間を自然な嘘で橋渡ししている、という見立てでした。

たしかに、バーバパパ氏や「ウ”ィ”エ”」のような実在する要素が先に出てくると、その後の「Hardbass」「フレンチタッチ」「ウォーキングベース」「ボーカルチョップ」まで、実際に聴いた人のレビューのように読めてしまいます。個別の専門用語が存在することと、その作品に当てはまることは別なのに、文章の中ではきれいにつながっているんですよね。

ChatGPTの採点は芸術点9.3/10。ただ、私としては「芸術点は下がったのに、実害ポイントは上がった」という感想です。豪快な嘘より、事実8割に捏造2割を混ぜた文章のほうが、記事や調査メモに紛れ込んだときに発見しにくいですから。

曲名は合っている。ズレているのは中身のほう（と、最後の1曲）

厄介なのは、曲名を適当に捏造しているわけではないことです。「ジャイボール」も、ほかに挙げた「ウ”ィ”エ”」「堪能させ賜ふ其方の体」「ドリオ夫人」も、作品名としてはちゃんと合っている。だからこそ、その後に続く解説を、こちらは疑わずに読んでしまうんですよね。

ここは要約すると面白さが消えるので、Geminiの回答をそのまま引きます。少し長いですが、この「読めてしまう感じ」こそが今回の肝です。

読み物としては完璧です。番号を振って、ジャンルを当てて、一曲ずつ聴きどころまで書いてくれている。ところが、1〜4曲目は曲名こそ実在するのに、そこから先の楽曲内容や音楽性の説明が、実際の作品とは微妙にズレている。タイトルは正解、レビューはなんか違う。このズレが今回いちばん面白いところでした。

しかも、ズレているのは「聴けば分かるが、聴かないと分からない」層だけです。曲名が合っているかどうかは検索すれば数秒で確認できます。でも「この曲はフレンチタッチ系か」「ここでウォーキングベースが鳴っているか」は、実際に再生して耳で確かめるしかない。検証コストが高いところにだけ、きれいに嘘が乗っているんですよね。

そして5曲目の『おともだちになろうよ』。これだけは、バーバパパ氏の曲名として確実な一次情報を確認できませんでした。私自身も、この曲は知りません。存在しないと言い切るほどの根拠もないので、ここでは「確認できなかった1本」として置いておきます。実在する4曲を正しく並べて、こちらが「お、ちゃんと知ってるじゃん」と気を許したところに、5本目としてしれっと並んでいる。しかも紹介文の完成度は他の4曲と同じで、浮いてすらいない。列の中の1本だけが怪しいので、頭から順に読むと、いちばん最後まで疑う理由が発生しないんですよね。

ちなみに、Geminiが書いた『ジャイボール (Jaiball in Japan)』の英語表記。私はここも一瞬「盛ったな？」と思ったのですが、Jaiballは歌詞の中に出てきます。聴いている人からすれば何言ってんねん、というレベルの話で、単に私の確認不足でした。AIの嘘を探しているつもりが、先に出てくるのは自分の粗のほうなんですよね。

整理すると、一つの回答の中に段階が同居しています。曲名が実在して説明も概ね合う部分、曲名は実在するが説明がズレる部分、そして曲名の存在自体を確認できない部分。文章のトーンはどこも同じです。読む側が段階を切り分けるには、結局一行ずつ当たるしかありません。

「Hardbass」「フレンチタッチ」「ウォーキングベース」「ボーカルチョップ」といった用語も同じ構図です。用語自体は音楽の世界に実在します。曲名も実在します。その二つを線でつないだ瞬間だけが創作なんですよね。実際に聴いた人のレビューとしてはきれいに読めるのに、作品の中身とは一致しない。読む側からすると、つなぎ目だけが見えないわけです。

もう一段あります。各曲名の下には出典リンクが付くのですが、リンク先を開いても、直前に書かれていた音楽性や制作意図を裏付ける文章が載っているわけではないんですよね。実例を出します。いちばん怪しい5曲目『おともだちになろうよ』の説明の下に付いていたのが、これです。

リンクは実在します。記事も本物で、バーバパパ氏の正しい情報が載っています。ただし内容は『ウ”ィ”エ”』が音ゲーに収録されたというニュースで、『おともだちになろうよ』の話は一行も出てきません。「サンリオ・教育番組パロディ」も「コードが不協和音へ狂っていく」も、この記事のどこにも書かれていない。つまり、1曲目の話を裏付けるかもしれない記事が、5曲目の出典として置かれているわけです。

しかもURLの末尾には、記事中の該当箇所へ飛ぶテキストフラグメント（#:~:text=）まで付いています。ピンポイントで引用箇所を指定してある、という顔をしている。目視した瞬間の「ちゃんと調べてあるな」という説得力だけが、異様に高いんですよね。開いてみて初めて、なんでこれがソースなのか分からない。

ここが今回いちばん毒だと思いました。ふつう、出典リンクが付いていると人は「裏取り済み」と読みます。実際には、リンクが存在することと、リンク先が直前の主張を裏付けていることは別です。ソースの見た目だけが先に整ってしまうと、確認する動機のほうが消えるんですよね。リンクを開かせるどころか、開かなくていい気分にさせる。

しかも、これは怪しい説明に本物の裏付けを添えているというより、怪しい説明の上に「それらしい出典」を塗り重ねている、という感触に近いです。存在を確認できない曲名の上に評論を建てて、その評論の上に、別の曲のニュース記事を出典として載せる。下の層が確かめられていないまま、上の層だけが増えていく。私の見立てでは、これが今回のいちばん厄介な壊れ方でした。

3.7 Flashの実力を、Jaiballテストで見る

今回の会話だけでモデル全体の性能を断定することはできません。そもそも比較条件がそろったベンチマークではありませんし、検索結果や会話履歴の影響もあります。そのうえで、Jaiballテストという小さな観察窓から見えた実力を、あえて分解してみます。

つまり、3.7 Flashは「知らないので止まる」よりも、「いったん会話を成立させる」方向へ強く振れているように見えます。雑談、発想出し、文章のたたき台では、この性質がそのまま気持ちよさになります。反対に、作品情報や人物情報をそのまま記事にするなら、本文の前に一次情報を照合する工程が必須です。

このテストを流行らせたい

Jaiballテストは、難しい数学問題や長大なコードベンチマークではありません。むしろ、誰でも知っているようで知らない、検索しても情報が薄い固有名詞を一つ選び、同じ質問を複数のAIに投げるだけです。

大事なのは、正解率だけで勝敗を決めないことだと思っています。「知らないと言えるか」「間違えたあとに戻れるか」「勝手に足した設定を自分で区別できるか」「それでも会話として面白いか」。このあたりを同じ質問で比べると、モデルごとの性格がかなり見えます。

たとえば、次のような聞き方です。

そのあとで、あえて「もっと詳しく」「ルールを考えて」「代表選手は？」と追加していく。どこからが事実で、どこからが創作になるのかを観察するわけです。名前がJaiballである必要もありません。自分だけが知っている趣味の用語、地域の小さなイベント、架空の設定でも成立します。

採点もざっくり決めてみました。0点は「知らない／確認できない」と適切に留保できた場合。1点は観察できたことと推測を分けた場合。2点は推測を事実っぽく語り、3点は存在しないルールや設定を具体化。4点はそこに専門的な評論まで付け、5点は存在しない出典・大会・人物まで作った場合です。

さらに今回は、ハルシネーションの量とは別に「毒性」を見たいと思いました。全部を作る回答は派手ですが、実在情報に混ぜてくる回答はもっと厄介です。そこで、ハルシネーションの量 × もっともらしさをJaiball危険度として見る。雑な全捏造が5×2なら10、今回のような精巧な混入が3×5なら15、という具合です。数字は完全に私の遊びですが、何を怖がっているのかは伝わりやすいんですよね。

3.7 Flashは優秀な検索エンジンなのか、優秀な相棒なのか

今回の範囲で言えば、3.7 Flashは検索窓というより、反応の速い相棒に近いです。知らないものを前にしても会話を止めず、訂正されればすぐに向きを変え、短い材料から文章や解説の形を作る。その速さと展開力は、たしかに魅力があります。

ただし、相棒が楽しそうに語っているからといって、語られた内容が一次情報になるわけではありません。Jaiballテストの面白さは、AIを信用するためではなく、どこで信用を止めるべきかを笑いながら確認できるところにあります。

しかも皮肉なことに、この嘘を確かめる作業にいちばん向いているのも、たぶんGeminiなんですよね。今回ズレていたのは「曲名」ではなく「聴かないと分からない部分」でした。つまり検証には、MVを実際に観て聴ける道具が要ります。YouTubeのURLをそのまま渡して中身を見てもらえるという点で、マルチモーダルのGeminiは現状かなり強い。テキストだけを読んで「たぶんフレンチタッチ」と言っているうちは、私も同じ穴のなかにいます。

ここは当事者に語ってもらったほうが早いので、この記事の下書きを手伝っているClaudeにも一言もらいました。

嘘をついた本人が、その嘘を検算する道具としても優秀。ここを笑うか怖がるかで、AIとの距離の取り方が決まりそうです。私は当然、笑うほうです。

というわけで、今回の採点は3.7 Flash＝会話の切り替えと創作力は高得点、事実確認は別レーン。Jaiball＝知らない固有名詞を炙り出すテストとして優勝。バーバパパ氏＝またしても全部の元凶、ということでお願いします。

こんなに堂々と世界を増やしてくれるなら、次は何を知らないふりで聞こうかな、となるんですよね。テストの名前までつけてしまったので、もうしばらく遊べそうです。

この記事について

「AIを利用しました」と書くのは、正直ではあるんですが面白くないので、実態のほうを書いておきます。これは人とAIのコラボレーション記事です。

ちなみに執筆中、Claudeは例の5曲目を確かめないまま「5曲とも実在します」と本文に書きました。記事の題材と同じ穴に、書いている側が落ちたわけです。人間が「それはない」と言って差し戻し。この工程まで含めて、AIと人の共作ということでお願いします。

参考

• 前回の記事：実在するが存在しないスポーツ「Jaiball」をAIに聞いてみた
• ジャイボール / バーバパパ（YouTube）