勾配ブースティング(XGBoost/LightGBM)

Kaggle頻出、表データの王者。XGBoost と LightGBM の仕組みと使いどころ。

胡桃 あんず

Kaggleで『XGBoostとLightGBMが強い』ってよく聞くけど、何がそんなにすごいの?

若葉 みどり 先生

どちらも勾配ブースティング?
のライブラリね。 表データ(構造化データ)に対してとても強力なのよ。

白銀 ゆき

勾配ブースティング?
は、弱学習器(浅い決定木)を逐次的?
に追加していくアンサンブル学習?
。 各ステップで前のモデルの誤差を埋めるよう次の木を作る。

桜井 もも

ランダムフォレストとは違うんですかぁ?
もも、ごっちゃになっちゃう…

白銀 ゆき

ランダムフォレストは並列?
に独立した木を作り平均するバギング?
。 勾配ブースティングは逐次?
に誤差を補正するブースティング?
。 両者は似て非なるアプローチよ。

胡桃 あんず

XGBoostとLightGBMって、どう違うの?

若葉 みどり 先生

XGBoostは2014年登場の元祖。 LightGBMはMicrosoft開発の高速版で、ヒストグラム法?
とLeaf-wise?
成長戦略で速度・メモリ効率が良い。

白銀 ゆき

あとCatBoostもあって、こちらはカテゴリ変数の扱いが得意なの。 この3つはGBDT御三家と呼ばれているわ。

桜井 もも

実装するときに気をつけることってありますかぁ?

若葉 みどり 先生

主要なハイパーパラメータは (1)学習率?
(low to high)、(2)木の本数?
、(3)木の深さ?
、(4)正則化?
。 学習率を下げると過学習が緩和されるが本数を増やす必要があり、トレードオフ。

胡桃 あんず

結局、ハイパラ調整は避けて通れないんだね〜。

白銀 ゆき

そうね、最適化はGridSearchやOptunaなどで行うのが定番。 GBDTは強力だけど、ハイパラに敏感な一面もあるのよ。

白銀 ゆき

DS検定では『GBDTは弱学習器の逐次追加』『XGBoost/LightGBMは表データで強い』『ランダムフォレストとブースティングの違い』が頻出。

import lightgbm as lgb
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
model = lgb.LGBMClassifier(
    n_estimators=200,
    learning_rate=0.05,
    max_depth=6,
    random_state=42,
)
model.fit(X_train, y_train, eval_set=[(X_test, y_test)])