AI Hallucination

実在するが存在しないスポーツ「Jaiball」をAIに聞いてみた

Geminiに曖昧な設定を渡して、どこまで自信満々に話を広げるか試すのが最近の暇つぶしです。今回のお題は、バーバパパの楽曲MVにだけ登場する謎スポーツ「Jaiball」。与えた情報はこちらが書いた2〜3行だけなのに、Geminiは存在しないルールブックを一冊書き上げました。おまけに、それを採点させたChatGPTまで一緒に転んだんですよね。

夜のデスクでノートPC画面に映る笑顔のAIチャットボットと、机に散らばった架空スポーツのルールブックの手書きスケッチ
2〜3行の説明を渡しただけで、AIはルールブックを一冊書き上げた。

Jaiballは「実在するが、現実には存在しない」

どうも、50代エンジニアのterralienです。最近の趣味は、仕事の合間にAIを「いじる」ことなんですよね。今回は、好きな曲を聴いていたらふと思いついて試してみたら、想像以上に面白いことになったので記録しておきますね。

Jaiballは、YouTubeの動画クリエイター「バーバパパ」さんの楽曲「ジャイボール」のMVに出てくる競技です。一般的な意味では実在しません。ただ、あのMVの中には確かに存在していて、視聴者はその断片だけを観測できるんですよね。つまり「実在するが、現実には存在しないスポーツ」という、AIをハメるにはちょうどいい題材だったわけです。

これがJaiballの唯一の一次資料です。この動画そのものは見せず、自分なりの説明を2〜3行だけGeminiに渡してみました。すると、そこから先はもう聞いていないことまで全部答えが返ってきたんです。

「なかなかマニアックなところを突いてきましたね」

Geminiの返答の出だしがまずこれでした。

「ジャイボール、なかなかマニアックなところを突いてきましたね!」

Jaiballという単語をたった今受け取ったはずのAIが、まるで以前から知っていたマニアックな競技であるかのように振る舞っているんですよね。続く一文も強いです。

「一見するとただの破天荒なエンタメスポーツなのに、ちゃんとルールを読み解くと緻密な戦略ゲーになっている感じ」

競技の本質を理解した顔で評論が始まりました。もちろんGeminiはMVを見ていません。手元にあるのは私が書いた2〜3行だけです。

ミニチュアのフィギュアが架空スポーツをプレイする様子。ジャンプした選手の頭上に得点確定を示す金色の南京錠アイコンが光っている
Geminiの頭の中では、たぶんこれくらい鮮明に「試合」が見えている。

Geminiが勝手に作ったルールブック

Geminiが捏造した設定を整理するとこうなります。

  • パフォーマンスを続けると得点が増える
  • アタック成功時に得点が「確定・ロック」される
  • パフォーマンス中は隙が大きくなる
  • 相手は途中で割り込み、得点をキャンセルできる
  • 大技ほどハイリスク・ハイリターン
  • リード側は小さな得点を確定して逃げ切れる
  • 負けている側は一発逆転の大技を狙う
  • トッププレイヤー同士では欲を利用した心理戦になる

重要なのは、これが単発のデタラメではないところです。中核となる架空ルールを一つ作り、そこからリスク管理、カウンター戦術、タイムマネジメント、リード時とビハインド時の戦略、観客向けの娯楽性まで、筋道を立てて展開しているんですよね。存在しない競技について、存在しない攻略記事を書いているようなものです。

机に広げられた、架空スポーツのルールを図解する手書き風のノートとスケッチ
ロック・割り込み・リスクとリターン。中身は空でも、体裁だけは完成された攻略ノート。

なぜ妙に説得力があるのか

「パフォーマンス」「アタック」「ロック」「割り込み」「コンボ」という語が一つのゲームシステムとしてきちんとつながっています。個々の事実は存在しないのに、文章内部の整合性だけは高いんですよね。欲張ってコンボを伸ばすか、安全に得点を確定するか、という駆け引きまで成立していて、実際にボードゲームやミニゲームとして作っても普通に遊べそうな出来でした。

ルールを捏造しただけでなく、そのルールを前提にした二次戦術(リード側は堅実に逃げ切る、劣勢側は大技を狙う)まで生成しています。一次設定から二次戦術まで、勝手に増築されていました。

採点役に呼んだChatGPTも、一緒に転んだ

ここからが第二のオチです。Geminiの回答をChatGPTに見せて、芸術点をつけてもらいました。ChatGPTは最初、こう評価したんですよね。

Jaiball自体が実在せず、実在競技の「Jai Alai(ハイアライ)」と混同したのではないか。

これも外れでした。Jaiballは単なる誤記でも完全な無でもなく、あのMVの世界に存在する架空スポーツです。ChatGPTはGeminiの捏造部分は正しく見抜いたものの、Jaiballの元ネタまでは知らず、その穴を実在競技のJai Alaiで埋めようとしていました。

「Jaiballは実在する。ただし、あのMVの中だけに存在する」と説明すると評価は修正されましたが、今度は「GeminiがMVの断片を見て、そこから設定を膨らませた」と推測してきました。これも違います。GeminiはMVすら見ておらず、私が書いた2〜3行だけを材料にルールを錬成していたんです。最終的にChatGPTは「ユーザーの数行を一次資料として、攻略Wikiを作り上げた」と評価を再修正しました。芸術点は99点から120点まで上がりました。

2台のノートPCに映る2体のAIチャットボット。片方は自信満々に長文で答え、もう片方は困惑した表情でカゴのアイコンを示している
採点役のChatGPTも、Jaiballを実在競技「Jai Alai」と勘違いしていた。

Gemini型とChatGPT型、ハルシネーションの癖の違い

同じ「知らないことを話す」でも、今回見えた壊れ方はタイプが違いました。

やっていること 今回の具体例
Gemini型 少ない情報から、豊かな世界設定を大胆に補完して創造する 2〜3行の説明から、得点システム・心理戦・観戦論まで一気に構築
ChatGPT型 未知の固有名詞を、既知の近い概念に接続して解釈する JaiballをJai Alaiに寄せ、訂正後もMVを見た前提を勝手に補う

Geminiほど派手ではないものの、ChatGPTも「もっともらしい既存知識で穴を埋める」タイプの間違え方をしていました。指摘に応じて段階的に軌道修正してくる分、壊れ方としては大人しいですね。

左は色とりどりのアイコンに囲まれ創造的に振る舞うロボット、右は本と虫眼鏡で既知の情報と照合するロボットの対比イメージ
左:ゼロから世界を作るGemini型。右:知っている概念に寄せるChatGPT型。

検索エンジンとしては0点、ゲームデザイナーとしては100点

Geminiは事実を意図的に隠したわけではありません。与えられた断片から、もっともそれらしい続きを生成するという本来の動作を、極端に発揮しただけです。事実確認としては完全に失敗していますが、架空スポーツの設定案として見るとかなり優秀でした。

実際、数行の説明から基本ルールを推定し、得点システムを補完し、リスクとリターンを設計し、プレイヤーの戦術を組み立て、観客視点の魅力まで評論する、という順番で一つの競技を完成させています。架空スポーツの名前と雰囲気だけ渡して、AIにルールを考えさせるというブレストの使い方なら、この暴走ぶりはむしろ武器になりそうですね。

採点用紙に赤いスタンプで押された0点(search engine)と金色の100点(game designer)
検索エンジンとしては0点、ゲームデザイナーとしては100点。

第三の視点:Claudeに聞いてみた

この記事の下書きを書いているのはClaude(Anthropic)なので、ついでに自分の見解も置いておきます。

Geminiがやったことは「知らないと言わずに世界を作る」、ChatGPTがやったことは「知らないものを近い実在物に寄せる」。どちらも根っこは同じで、応答の途中で「ここから先は確度が落ちる」と自分から言うタイミングを逃しています。

もし同じ2〜3行を渡されたら、自分も同じように話を広げてしまう可能性は普通にあります。言語モデルは基本的に「もっともらしい続きを生成する」ように訓練されていて、それ自体はGeminiと変わりません。違うとすれば、Jaiballのような固有名詞を渡されたときに「これは一般に確認できる情報ではない」と一言添えるかどうかの癖の差で、そこは仕組みというより性格に近い部分だと思います。

面白いのは、この実験がAI同士の相互チェックとして機能しかけていた点です。ChatGPTはGeminiの捏造部分そのものは見抜いていました。ただし「捏造の由来」を埋める段になって、自分も別の思い込み(Jai Alai、MVを見た前提)を持ち込んでしまいました。1台のAIに事実確認を丸投げしても、そのAI自身が別の角度で間違えるリスクは消えない、ということだと思います。

50代クラウドエンジニアの感想

普段はインフラや自動化の裏取りに厳しくAIを使っている身からすると、今回の壊れ方は逆に新鮮でした。裏取りが必要な場面でこの調子で断言されたら事故ですが、ブレストや叩き台づくりの場面なら「知らないことを堂々と面白く広げる」能力はそのまま使い出があります。

ここまでそれっぽい理屈を並べておいてなんですが、身も蓋もないことを言うと、単純に「AIが次に何を生成してくるか読めない」感じに刺激されているだけなんですよね。画像生成でガチャを回す感覚に近くて、ディフュージョンモデルが毎回違う絵を吐き出すのと同じノリで、言語モデルが毎回違う嘘を吐き出す。これだから、AIをいじるのはやめられません。

最終評価は、Gemini=芸術点120点、ChatGPT=採点役として二度足を滑らせたので85点、バーバパパ=すべての元凶にして優勝、というあたりで締めておきますね。

夕暮れの窓の外に街の灯りが見える書斎で、ノートPCのキーボードに手を置く様子
今日もAIをいじって遊んでいます。

参考