ハイパーパラメータチューニング(GridSearch・RandomSearch・ベイズ最適化)

機械学習モデルの精度を引き出すハイパーパラメータチューニング。 GridSearch / RandomSearch / Bayesian の使い分け。

胡桃 あんず

モデルってデフォルト設定でも動くけどさ、ハイパラ調整すると精度ってどれくらい変わるの?

若葉 みどり 先生

5〜20%くらい精度が上がることも珍しくないのよ。 ハイパーパラメータチューニング?
は実務でもとても重要なステップということね。

白銀 ゆき

代表的な手法は3つで、(1)GridSearch?
は全組合せを試す、(2)RandomSearch?
はランダムに選んで試す、(3)ベイズ最適化?
は過去の試行から次を予測する、という方式ですね。

桜井 もも

まずは GridSearch から覚えればいいんですかぁ?

白銀 ゆき

そうですね、まずはGridSearchCV?
が基本です。 候補値をリスト化して、全組合せを交差検証?
付きで評価します。 ただし候補が多いと組合せ爆発で時間がかかってしまうんです。

胡桃 あんず

RandomSearch のメリットってなに?

若葉 みどり 先生

全組合せを網羅する必要はない、というのが大事な洞察なのよ。 ランダムサンプリングで限られた回数試すだけでも、十分いい結果が得られるの。 候補が多いときに効率的ということね。

白銀 ゆき

ベイズ最適化?
はOptuna?
やHyperopt?
が代表ライブラリ。 過去の評価結果から『次に試すと最も精度が上がりそうな組合せ』を予測する賢い手法。

桜井 もも

AutoML?
って何ですかぁ?

若葉 みどり 先生

AutoML?
は『前処理〜モデル選択〜ハイパラチューニング』までを自動化する仕組みなのよ。 Google AutoML、AutoGluon、PyCaret などが代表ね。 専門知識がなくても高精度なモデルを作れる流れが進んでいるということね。

白銀 ゆき

DS検定★では『GridSearchは全組合せ』『RandomSearchはランダム』『ベイズ最適化は過去結果から学習』、AutoML?
=自動化、を押さえれば十分。

胡桃 あんず

実装例見たい!

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

# (1) GridSearch: 全組合せ試行 (3×3=9通り × CV5回=45学習)
param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [5, 10, 20],
}
grid = GridSearchCV(
    RandomForestClassifier(random_state=42),
    param_grid,
    cv=5,
    scoring='f1',
    n_jobs=-1,
)
grid.fit(X_train, y_train)
print(f'Best params: {grid.best_params_}')
print(f'Best F1: {grid.best_score_:.3f}')

# (2) Optuna: ベイズ最適化
import optuna

def objective(trial):
    n = trial.suggest_int('n_estimators', 50, 500)
    d = trial.suggest_int('max_depth', 3, 30)
    model = RandomForestClassifier(n_estimators=n, max_depth=d, random_state=42)
    return cross_val_score(model, X_train, y_train, cv=5, scoring='f1').mean()

study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=50)