基本概念
样本
- $\{ (x^{(i)}, y^{(i)}) \}$ 是一个训练样本，$\{ (x^{(i)}, y^{(i)}); i=1, \dots, N \}$ 是训练样本集
- $\{ (x^{(i)}_1, x^{(i)}_2, y^{(i)}) \}$ $\rightarrow$ $\{ (\boldsymbol{X}^{(i)}, y^{(i)}) \}$, \(\boldsymbol{X}^{(i)}=\begin{bmatrix} x^{(i)}_1 \\ x^{(i)}_2 \end{bmatrix}\) (其中粗体表示向量)
目标
- 对于一维数据，学习目标是：$f(x) = wx + b$, 使得 $f(x^{(i)}) \approx y^{(i)}$
- 对于多维数据，学习目标是：$f(\boldsymbol{X}) = \boldsymbol{w}^T \boldsymbol{X} + b$, 使得$f(\boldsymbol{X}^{(i)}) \approx y^{(i)}$
问题的核心在于怎么学？ 最终的问题类型可以理解为一个：无约束优化问题。
