L2正則化だと、ソフトマージン最大化と同じ式。

L1正則化だと、さらに変数選択の作用も働く（決定境界の法線ベクトルwは、マージンを大きくしつつ変数の軸と平行な向きに近付く）

後期の「機械学習 Machine Learning」と「計算知能 Computational Intelligence」もぜひ受講してください。楽しいですよ！

深層学習、進化計算、群知能、Fourier変換、Laplace変換、z変換（Zadeh変換説ある）を学べます。

いじけてないで、第一宇宙速度を超えて思考の宇宙に飛び立ちましょう！

さてさて、パターン認識の残り2回では、正則化で伏線回収した後、決定木やランダムフォレスト、集合学習（アンサンブル学習）についても触れていきましょう。

パターン認識のIGDテンプレートを新しくしました。

・Eye contact

・Wind speed

・Neuron Activation

記入しましょう！

ここでFAQをひとつ、

ただ、経験損失を最小化すると、訓練データに対しては誤班別0、回帰では誤差0にできます。

しかし、未知データに対する識別や回帰はあまりよくならなさそうです。

では、経験損失ではなく期待損失を大きくするには…

正則化がキーとなります。

そこでヒンジ（hinge, ちょうつがい）関数

\ell (y, f(x)) = max ( 1-yf(x), 0 )

つまり、min \xi subject to \xi \ge 1-yf(x), \xi \ge 0

ではまた！

0-1 lossを連続関数で近似してみよう！

確率変数X, Y、取る値（やパターン）とその確率を対（つい、pair）にしたもの。

訓練データは確率密度関数p(X,Y)に従って生成されます。

分類器 g(x) \in {-1, 1}, for x \in パターンの全体集合

0-1 loss \ell( y, g(x) ) = 0 if y=g(x), 1 if otherwise

期待損失　E[ \ell (Y, g(X))] = \int \ell(Y, g(X)) p(X, Y) dXdY