Optimization for Data Science学习笔记-8

Optimization for Data Science学习笔记-8 课程8 是和梯度下降法不同的另一种解决无约束问题的算法——牛顿法

和梯度下降法一样，牛顿法也是寻找导数为0的点，同样是一种迭代法。核心思想是在某点处用二次函数来近似目标函数，得到导数为0的方程，求解该方程，得到下一个迭代点。因为是用二次函数近似，因此可能会有误差，需要反复这样迭代，直到到达导数为0的点处。
参考：https://zhuanlan.zhihu.com/p/37588590
做泰勒展开，得到近似的二次函数

机器学习

classification
binary classification 里perceptron是basiccalculation unit in learning machines
然后就是有multilayer perception networks 有input、hidden、output layer。通过backpropagation algorithm来train
还有 径向基函数网络 RBFN radial basis function networks
参考：https://blog.csdn.net/weixin_42398658/article/details/83215916

支持向量机SVM
泛化 generalization 机器学习需要评估算法的泛化性

参考：https://zhuanlan.zhihu.com/p/37588590
https://blog.csdn.net/weixin_42398658/article/details/83215916