次の最小化問題を
Julia+Convex+Gadfly+Interact
を使って可視化してみた.
$$
\begin{align}
\text{L1正則化:} \hspace{2em}& \underset{\boldsymbol{w}\in\mathbb{R}^d}{\operatorname{minimize}} \hat{L}(\boldsymbol{w}) + \lambda \| \boldsymbol{w} \|_1 \\
\text{L2正則化:} \hspace{2em}& \underset{\boldsymbol{w}\in\mathbb{R}^d}{\operatorname{minimize}} \hat{L}(\boldsymbol{w}) + \frac{\lambda}{2} \| \boldsymbol{w} \|_2^2\\
\text{損失関数:} \hspace{2em}& \hat{L}(\boldsymbol{w}) = \frac{1}{2}\|\boldsymbol{X}\boldsymbol{w}-\boldsymbol{y}\|_2^2
\end{align}
$$
なお,行列$\boldsymbol{X}$とベクトル$\boldsymbol{y}$は以下のように設定した($d=2$).
$$
\boldsymbol{X} =
\left[
\begin{array}{cc}
1 & 0.5 \\
0 & 1
\end{array}
\right],\;\;
\boldsymbol{y} =
\left[
\begin{array}{c}
1.75 \\
0.5
\end{array}
\right].
$$
ソースコードはこちら.