分類約 3 分 1,005 字

SVM・k近傍法・ナイーブベイズ

3種の分類アルゴリズムの直感と特徴。マージン最大化・距離ベース・ベイズ+独立仮定。

分類アルゴリズム3つ、SVM・k-NN・ナイーブベイズの直感と用途。

白峰リリ

他にも分類アルゴリズムってたくさんあるよね?

神楽モニカ先生

代表的なのはSVM・k近傍法・ナイーブベイズの3つ。直感を押さえましょう。

紅林かえで

SVM(Support Vector Machine)は『2クラスを分ける境界』を最大マージンで引く手法。境界に近いサンプル(サポートベクター)だけが境界を決める、という巧妙な方法。

藍沢しずく

境界が一直線じゃないときは?

紅林かえで

カーネル法を使うと、データを高次元に写像することで非線形な境界を引ける。 RBFカーネルが最も汎用的。

白峰リリ

k近傍法(k-NN)は?

神楽モニカ先生

『新しいサンプルから最も近い k 個の既存サンプルを見て、多数決で分類する』というシンプルな手法。学習なしで予測時に距離計算するだけ。

藍沢しずく

学習なしって、すごいシンプルですねぇ。

紅林かえで

シンプルだけど距離計算が高コストで、大規模データには向かない。また{kw('特徴量のスケーリング')}が結果に大きく影響するので前処理必須。

白峰リリ

ナイーブベイズは?

神楽モニカ先生

ベイズの定理を使う分類器で、『各特徴量が独立』というナイーブな仮定を置く。仮定は厳しいけれど、テキスト分類(スパム判定等)で実用的に強い。

紅林かえで

学習・予測ともに高速で、メモリも少なく済むのがメリット。特徴量が独立に近い問題で力を発揮するの。

藍沢しずく

覚えるのが大変ですぅ…

神楽モニカ先生

DS検定★では『SVMはマージン最大化』『k-NNは距離ベースの多数決』『ナイーブベイズはベイズ+独立仮定』を押さえれば十分よ。

確認クイズ

ナイーブベイズ分類器の『ナイーブ』とは何が単純だと仮定しているのか。

こたえを見る

正解: 2. 全特徴量が互いに独立

全特徴量が互いに独立と仮定するのがナイーブベイズの『ナイーブ』な部分です。現実にはこの仮定はあまり成り立たないものの、テキスト分類等では実用的に強い結果を出します。

Amazonアソシエイトリンクを含みます。他分野はおすすめ書籍ページへ。