| tags:regularization machine learning julia

Regularization

次の最小化問題を Julia+Convex+Gadfly+Interact を使って可視化してみた.
$$ \begin{align} \text{L1正則化:} \hspace{2em}& \underset{\boldsymbol{w}\in\mathbb{R}^d}{\operatorname{minimize}} \hat{L}(\boldsymbol{w}) + \lambda \| \boldsymbol{w} \|_1 \\ \text{L2正則化:} \hspace{2em}& \underset{\boldsymbol{w}\in\mathbb{R}^d}{\operatorname{minimize}} \hat{L}(\boldsymbol{w}) + \frac{\lambda}{2} \| \boldsymbol{w} \|_2^2\\ \text{損失関数:} \hspace{2em}& \hat{L}(\boldsymbol{w}) = \frac{1}{2}\|\boldsymbol{X}\boldsymbol{w}-\boldsymbol{y}\|_2^2 \end{align} $$ なお,行列$\boldsymbol{X}$とベクトル$\boldsymbol{y}$は以下のように設定した($d=2$). $$ \boldsymbol{X} = \left[ \begin{array}{cc} 1 & 0.5 \\ 0 & 1 \end{array} \right],\;\; \boldsymbol{y} = \left[ \begin{array}{c} 1.75 \\ 0.5 \end{array} \right]. $$ ソースコードはこちら