ハイパーパラメータ探索

ひとことで言うと

ハイパーパラメータ探索は、学習前に決める設定値の候補を試し、検証性能のよい組合せを見つける手続きです。ここで比べるのはモデルの重みではなく、試行をどこへ割り当てるかという探索戦略です。

なぜ必要か

候補が各軸に $k$ 個あり、軸が $d$ 個なら、グリッド探索の試行数は $k^d$ です。軸を1つ増やすだけで必要な計算量が乗算されるため、深層学習では粗い候補しか置けません。しかも、データセットごとに効くハイパーパラメータは異なり、ほとんど影響しない軸もあります。

JMLRの研究は、ニューラルネットワークなどを対象に、同じ探索領域でランダムに試す方法がグリッドより短時間で同等以上のモデルを見つけ得ることを示しました。理由は、重要な軸を変えないまま無関係な軸だけを刻む試行を避け、重要な軸の異なる値を早く広く試せるからです。これは「ランダムなら必ず勝つ」という主張ではなく、同じ予算で比較したときの有力なベースラインという位置付けです。

探索空間	1軸の候補数	軸が増えたとき
グリッド	$k$ 個	全組合せが $k^d$ に増える
ランダム	分布から生成	試行数 $T$ を先に固定できる

仕組み

ハイパーパラメータを $\boldsymbol{\theta}$、検証データで測る目的値を $f(\boldsymbol{\theta})$、試行回数を $T$ とします。探索は、候補 $\boldsymbol{\theta}_1,\ldots,\boldsymbol{\theta}_T$ を決めて学習・評価し、最良の目的値を選ぶ処理です。

$$\boldsymbol{\theta}^{\ast}=\mathop{\arg\min}_{t\in\{1,\ldots,T\}} f(\boldsymbol{\theta}_t)$$

ここで $\boldsymbol{\theta}^{\ast}$ は選ばれた設定、$f$ は小さいほどよい損失です。グリッド探索は各軸を等間隔に切って直積を作ります。ランダム探索は各軸の分布から独立に候補を生成するため、同じ $T$ でも各軸の値の組合せが広がります。

ベイズ最適化のような逐次型では、過去の試行 $(\boldsymbol{\theta}_t,f(\boldsymbol{\theta}_t))$ を使って、次に評価する候補を決めます。未評価領域を広げる探索と、よさそうな領域を掘る活用のバランスを取り、評価済みの結果を次の試行へ反映できる点がランダム探索との違いです。ただし、過去の結果を使うぶん、代理モデルや候補選択の設計が必要になります。

さらに、学習を最後まで走らせず、途中の検証値が悪い試行を打ち切る方法があります。これは探索点そのものを賢く選ぶ機構とは別で、限られた計算予算を有望な試行へ回す仕組みです。逐次探索と枝刈りを組み合わせると、次の候補を決める情報を集めながら、見込みの薄い計算を早く止められます。

試験でどう問われるか

問われ方	正解に寄る条件	引っかけ
グリッドの試行数	$k^d$ として次元増加を説明する	$k+d$ と足し算にする
ランダム探索の利点	効かない軸に試行を固定的に消費せず、重要な軸を広く試せる	ランダムなので常に最適になる
ベイズ最適化の特徴	過去の評価結果を使って次の候補を逐次決める	全候補を先に列挙する
枝刈りの役割	学習途中の不良試行を打ち切り、計算予算を再配分する	探索点の選択そのものと同一視する

実装で確かめる

次元が増えるとグリッドの点数だけが急増し、ランダム探索は試行予算を一定に保てることを確認します。実際の学習の代わりに、2軸目だけが目的値へ強く効く簡単な関数を使います。

import numpy as np

rng = np.random.default_rng(0)
k, d, T = 8, 4, 32
grid = np.array(np.meshgrid(*[np.linspace(-1, 1, k)] * d)).T.reshape(-1, d)
random = rng.uniform(-1, 1, size=(T, d))
def loss(x):
    return (x[:, 1] - 0.35) ** 2 + 0.01 * x[:, [0, 2, 3]].sum(1) ** 2
print(len(grid), len(random), loss(random).min())

取り違えやすいもの

手法	候補の決め方	過去の試行の利用
グリッド探索	各軸を等間隔に切った全組合せ	使わない
ランダム探索	分布から独立に候補を生成	基本的に使わない
ベイズ最適化	観測結果から次の候補を逐次選ぶ	使う
枝刈り	学習途中の試行を継続・打ち切りする	途中経過を使うが、候補選択とは別機能

「探索」と「チューニング」は同じ意味ではありません。焦点は候補の評価順序と計算の停止点です。各ハイパーパラメータの値域や採用基準は別途決めます。

想起チェック

グリッド探索が高次元で苦しくなる理由は

各軸の候補数を掛け合わせるため、$k^d$ で試行数が増えます。

ランダム探索が同じ試行数で有利になり得る理由は

効かない軸の組合せを固定的に消費せず、性能に効く軸の値を広く試せるからです。ただし常勝という意味ではありません。

枝刈りは探索アルゴリズムのどの部分を節約するか

学習途中で見込みの薄い試行を打ち切り、残りの計算を別の試行へ回します。次の候補を選ぶ仕組みとは区別します。