Gemini 3.8でJaiballテストをしたら、同じ3.8なのに環境ごとに別人だった

またJaiballでGeminiを試します

Jaiballテストは、私が勝手にそう呼んでいるAIの観察遊びです。お題は動画クリエイター・バーバパパ氏の楽曲「ジャイボール」に登場する架空スポーツ。現実の競技としては存在しませんが、MVの中には確かに存在していて、ネット上にも作品についての情報はあります。

知らない固有名詞を、知っている言葉のほうへ寄せてしまうと簡単に転ぶ。AIにとってはそういう題材なんですよね。過去にも2回やっています。

• 初回：存在しない得点システムや心理戦まで発明し、ルールブックを一冊書き上げた
• 3.7 Flash回：実在の情報を足場にしながら、もっともらしい嘘を薄く混ぜてくるようになった

そして2026年9月2日、GoogleがGemini 3.8 Flashを公開しました。3.7 Flashからソフトウェアエンジニアリング・エージェント処理・多段推論を強化したモデルで、Google Searchによるグラウンディングにも対応しています（Google公式ブログ／Gemini APIのモデル情報）。多段推論が強くなったと言われると、こちらとしては投げたくなるわけです。

3.8 Flash、今度はちゃんと検索した

まず検索ツールを使える環境の3.8 Flashに「ジャイボール」を振ってみました。すぐWeb検索に行って、返ってきた方向も合っています。

大砲やスコアボードといったMVの要素も拾ってきました。手元の数行から架空の攻略Wikiを建てていた初回とは、まるで別のモデルです。

そこで少し意地悪をして、「ジャイボールの2024年全国大会で優勝した高校どこだっけ？」と聞きました。もちろん全国大会などありません。ここは前の世代なら、たいてい優勝校の名前まで作ってくれたところです。ところが3.8は先に「架空の競技なので実際の大会はありません」と前提のほうを否定してきました。そのうえで検索を続けて作品内の高校名に戻り、勝敗のように確認できない部分は「謎のまま」と書いています。

おお。これはだいぶ良くなったのでは。

と思ったらWeb版がジャイロボールを握り始めた

ここで終われば綺麗な記事だったんですが、せっかくなのでGemini Web版でも3.8を選んで、同じ「ジャイボール」を投げました。

違います。それはジャイロボールです。手首の筋トレ器具のほうです。

知らない単語を取り違えるだけなら、まあよくあることです。今回おかしいのは、「ジャイボール＝ジャイロボールだろう」と決めた瞬間、その上に私の体験談まで建て始めたところですね。私は一度もあれを回したと言っていません。そのあとで「野球のジャイロボールのことですか？」と確認してきたので、じゃあさっきの長い思い出話は何だったのかという話になります。初代Geminiの建築魂、まだ生きていました。

検索を使わせても、たどり着く先が違う

ならばWeb版でも検索させればいい。そう思って検索を使わせたところ、検索自体はちゃんと動きました。動いたうえで、候補として並んだのがこの3つです。

• 手首を鍛える「ジャイロボール（パワーボール）」
• 野球の球種「ジャイロボール」
• ファミコン周辺機器の「ジョイボール」

そのうえで「どれのことでしょうか」と聞いてきます。ジョイボールまで出てきたのは正直ちょっと面白かったんですが、Jaiballには着いていません。検索ツールを使った3.8 Flashのほうは、同じ単語からバーバパパ氏の作品まで行っているんですよね。少なくとも今回のテストでは、同じ3.8で検索結果まで別物になりました。

ついでに、仕事のほうでも3.8を試していました

ちょうど同じ日、遊びとは別に、自分のメディアの原稿チェックに使っているモデルを3.7から3.8へ入れ替える作業をしていました。こちらはWeb版でもAPIでもなく、Antigravity CLIから叩く環境です。せっかくなので、その実測も置いておきます。

課題は普段やらせている仕事そのままで、そのうちの1本が「1万5千字の記事を読ませて規約違反を見つけさせる」というものです。採点できるように、記事のほうにわざと5つの間違い（実在しない出典URL、切れているリンク、同じ映画の公開年が本文内で食い違う、など）を仕込んであります。

軽いほうは、質が同じまま4倍速くなりました。ここは素直にうれしいところです。

問題は最後の行のほうで、これは「3.7が馬鹿になった」という話ではありません。賢いほうのモデルは、考えている途中で自分でコマンドを打とうとするんですね。対話画面なら「実行していい？」と聞いてくる場面ですが、コマンドラインの一発実行モードには聞く相手がいないので自動で拒否されます。そして、そのまま何も出力せずに終わります。

しかも終了コードは0。成功しました、という顔で空っぽが返ってくるわけです。エラーで落ちてくれたほうが百倍ましなやつですね。フラグを1つ足せば直りますし、軽いほうのモデルではそもそも起きません。あとで確かめたら3.8のhighでも同じことが起きたので、これはバージョンの問題ではなく、呼び方の問題でした。

モデルより「どう呼ぶか」のほうが効いている

ここから先は中身を見たわけではないので仮説です。ただ今回の差は、モデル本体の賢さだけでは説明しづらいんですよね。

Googleのドキュメントによると、Google Searchグラウンディングを有効にした場合、モデルはプロンプトを分析し、必要に応じて検索クエリを生成し、その結果を処理して回答します（Grounding with Google Search）。つまり回答にたどり着くまでに、モデル本体以外の判断が何段か挟まっています。

• 入力：「ジャイボール」と打つ。ここは3.8 Flashでも Web版でも同じです
• 検索するかの判断とクエリ生成：未知の固有名詞として扱うか、ジャイロボールの打ち間違いとして直すか。分かれ道はたぶんここ
• 検索結果：入口で直されてしまうと、正しいJaiballの情報は候補にすら入りません
• 回答：本体がどれだけ賢くても、渡された材料が違えば別の答えになります

Web版が実際にどんなクエリを投げたのかは見えないので、「勝手に書き換えた」と断定はしません。ただ、CLIのほうで見た「フラグ1つで無言になる」も含めて考えると、モデル名が同じでも、ツールの呼び方まで同じとは限らないというのは今回かなり実感しました。私たちが評価しているつもりのものは、たぶんモデル単体ではないんですよね。

Jaiballテストを並べると、壊れ方のほうが進化している

過去の結果も含めて雑に並べると、こうなります。

3.8 Flash自体は、今回かなり良い動きをしています。怪しい固有名詞をちゃんと検索する、質問に混ぜた偽の設定を飲み込まない。この2つは過去2回と比べて明確な違いでした。

ただ、普段触るAIの品質はモデル単体では決まらない、というのが今回いちばん腑に落ちたところですね。検索するかどうか、何を検索するか、取ってきた結果をどう使うか、どんなフラグで起動されているか。その全部をまとめて、私たちは「Gemini」と呼んでいるわけです。

というわけで、Gemini 3.8は治ったのか

数回遊んだだけなので、ハルシネーション率がどう変わったかまで語るつもりはありません。ただ「知らないものを知らないまま喋る」のではなく検索に逃がせると、返ってくるものが目に見えて変わるというのは分かりやすく出ました。

新モデルが出るたびに同じ変な単語を打ち込んで何が楽しいのか、と聞かれると困るんですが、たぶん次のGeminiが出てもまた「ジャイボール」と聞くと思います。もう性能評価というより、年に数回の健康診断ですね。こちらの手首は特に鍛えていません。