一次式でみる正則化(3) 正則化項の様々なかたち
正則化項の形 さて、qをいろいろと変えてみたときの、正則化項のふるまいについてみておきます。 \[ \frac{\lambda}{2} \sum_{j=1}^M |w_j|^q \] 実は、特定のqをもつ正則化項について …
PRML
一次式でみる正則化(2) 正則化項の誤差関数への影響
正則化？ では、今回は正則化の話に入っていきます。正則化は、PRMLでは例えば以下のような式で書かれています。 \[ \frac{1}{2}\sum_{n=1}^N \{t_n-{\bf w}^{\bf T}\phi({ …
一次式でみる正則化(1) 一次式の線形回帰と最小二乗法
更新の初回は線形回帰についてです。 PRML(パターン認識と機械学習)の3章で 正則化の図(図3.4)がよく分からなかった思い出から、 このあたりについてなるべくわかりやすい説明を書こうと思います。 1次式による回帰 係 …