训练模型的最常用算法
what is best model for the data?
linear model, 随机猜测一个斜率（权重）,找让误差最小的最优权重。
通常损失函数有多个参数，穷举某一区间中所有点，搜索最优参数，计算量太大（1个参数搜索100个点，2个参数就是100^2）
分治：先分大块(4x4)搜索，确定一个小区域，再在小区域中分（4x4）搜索。但是如果cost function 很粗糙，。
寻找使cost funciton 最小的权重，是一个优化问题：
$$ Mean Square Error: cost(w) = \frac{1}{N} \sum_{n=1}^N (\hat{y_n}- y_n)^2 \\ w^* = \underset{w}{argmin} cost(w) $$梯度下降：
初始权重，确定滚动方向，到达最低点
$w= w- \alpha \frac{\partial cost}{\partial w}$ (a 是学习率）
梯度下降只能找到局部最优。实际上，深度神经网络的损失函数并没有很多局部最优，但是存在鞍点，它的梯度为零，到达了按点没办法继续迭代。
随机