勾配ブースティング(XGBoost/LightGBM)

Kaggle頻出、表データの王者。XGBoost と LightGBM の仕組みと使いどころ。

白峰 リリ

Kaggleで『XGBoostとLightGBMが強い』ってよく聞くけど、何がそんなにすごいの?

神楽 モニカ 先生

どちらも勾配ブースティング?
のライブラリね。 表データ(構造化データ)に対してとても強力なのよ。

紅林 かえで

勾配ブースティング?
は、弱学習器(浅い決定木)を逐次的?
に追加していくアンサンブル学習?
。 各ステップで前のモデルの誤差を埋めるよう次の木を作る。

藍沢 しずく

ランダムフォレストとは違うんですかぁ?
しずく、ごっちゃになっちゃう…

紅林 かえで

ランダムフォレストは並列?
に独立した木を作り平均するバギング?
。 勾配ブースティングは逐次?
に誤差を補正するブースティング?
。 両者は似て非なるアプローチよ。

白峰 リリ

XGBoostとLightGBMって、どう違うの?

神楽 モニカ 先生

XGBoostは2014年登場の元祖。 LightGBMはMicrosoft開発の高速版で、ヒストグラム法?
とLeaf-wise?
成長戦略で速度・メモリ効率が良い。

紅林 かえで

あとCatBoostもあって、こちらはカテゴリ変数の扱いが得意なの。 この3つはGBDT御三家と呼ばれているわ。

藍沢 しずく

実装するときに気をつけることってありますかぁ?

神楽 モニカ 先生

主要なハイパーパラメータは (1)学習率?
(low to high)、(2)木の本数?
、(3)木の深さ?
、(4)正則化?
。 学習率を下げると過学習が緩和されるが本数を増やす必要があり、トレードオフ。

白峰 リリ

結局、ハイパラ調整は避けて通れないんだね〜。

紅林 かえで

そうね、最適化はGridSearchやOptunaなどで行うのが定番。 GBDTは強力だけど、ハイパラに敏感な一面もあるのよ。

紅林 かえで

DS検定では『GBDTは弱学習器の逐次追加』『XGBoost/LightGBMは表データで強い』『ランダムフォレストとブースティングの違い』が頻出。

import lightgbm as lgb
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
model = lgb.LGBMClassifier(
    n_estimators=200,
    learning_rate=0.05,
    max_depth=6,
    random_state=42,
)
model.fit(X_train, y_train, eval_set=[(X_test, y_test)])