交差検証(k-fold CV)

限られたデータを最大限活用する、交差検証の仕組みと実装。

胡桃 あんず

ねぇ、データが少ないときに訓練・検証・テストへ分けると、それぞれちっちゃくなりすぎない?

若葉 みどり 先生

その通り。 そういう時こそ交差検証?
(Cross Validation?
)の出番よ。

白銀 ゆき

k-fold交差検証?
が代表的。 データをk等分(典型はk=5や10)し、(1)1つを検証用、残りk-1を訓練用にして学習・評価、(2)これをk回繰り返して、毎回別の塊を検証用に、(3)k回の評価結果を平均する。

桜井 もも

1回だけの評価より、k回ぶんを平均した方が信頼できる、ってことですかぁ?

白銀 ゆき

そう、データの偶然のばらつきを平均で打ち消せる。 また、全データが訓練と検証の両方に使われるので、データを最大限活用できる。

胡桃 あんず

k=5ってことは、1回の学習で全データを訓練に使えるわけじゃないよね?

若葉 みどり 先生

1回の学習では4/5(80%)を訓練、1/5(20%)を検証に使う。 これをデータの『どの塊を検証に使うか』を変えながら5回繰り返す。

白銀 ゆき

分類問題でクラス比が偏っているなら層化k-fold?
を使うわ。 各foldのクラス比を均等にすることで偏りを防ぐの。

桜井 もも

層化って、統計のサンプリングのところで出てきましたねぇ♪

胡桃 あんず

k=N(全データ数)にしたらどうなるの?

若葉 みどり 先生

それをLeave-One-Out CV?
(LOOCV)と呼ぶの。 各イテレーションで1サンプルだけ検証、残り全部を訓練。 計算コストが高いけれど、データが極端に少ないときに有効。

白銀 ゆき

DS検定としては『k-foldの仕組み』『k=5/10という典型値』『層化k-foldがいつ必要か』、この3点を押さえておけば十分ということね。

桜井 もも

もも、ちゃんと覚えます♪

from sklearn.model_selection import cross_val_score, KFold
from sklearn.linear_model import LogisticRegression

X, y = ...  # 特徴量とラベル
kf = KFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(LogisticRegression(), X, y, cv=kf, scoring='accuracy')
print(f'CV accuracy: {scores.mean():.3f} (+/- {scores.std():.3f})')