アンサンブル学習(スタッキング・ブレンディング)

スタッキング?
は『複数の異なる弱学習器の予測値を、メタ学習器(別のモデル)が統合する』2段構造のアンサンブル。 各層の役割が違うのが特徴。

Level-0(ベース層): ロジスティック回帰・決定木・SVM・LightGBM 等の異種モデル群が予測。 Level-1(メタ層): その予測値を入力として、最終的な予測を出すモデル(通常シンプルな線形回帰やロジスティック回帰)。

ブレンディング?
はスタッキングの簡略版。 訓練データを更に分割して、片方でベース層、もう片方でメタ層を学習する。 シンプルだがホールドアウト分のデータが減るデメリットあり。

実務では運用コストとのトレードオフですね。 ベースライン+LightGBM単体で十分な精度なら、わざわざスタッキングしない選択も賢明です。 Kaggleのトリックではありますが、DS検定★では概念を押さえれば十分ですよ。

DS検定★では『3手法の違い』『スタッキングは異種モデル+メタ学習器』を押さえて。