如何学习凸优化课程

[book-optimization.rar]-这是一本讲解最优化的书籍，是全英文的。这是一部经典的外国教材，对最优化问题阐述的非常之精辟[Optimal.rar]-几个凸优化函数，用于解决非约束和带约束条件的凸优化问题[stanford_convex_optimization_book.rar]-国外的经典的有关于凸优化数学方面的教材，值得研究有关优化方面的研究者学习[convex_analysis_foundation.zip]-凸分析基础中文教材。纯粹这方面的资料不多（多为凸优化之类），中文的书籍更难找，有用该方面知识的同行多多交流。[ConvexOptimization.rar]-凸优化问题经常出现在许多不同的领域。全面介绍了主题，这本书展示了如何解决这些问题都可以高效率地详细数字。其重点是识别凸优化问题，然后找到解决他们最合适的技术。文本包含许多实例和作业练习，并会提出问题，如工程，计算机科学，数学，统计，金融，经济领域的学生，研究者和实践者。[cvx.zip]-斯坦福大学凸规划的程序，很经典，多次在IEEE的文章中出现[convex_optimization.rar]-凸优化程序包，包含各种凸优化算法,可供方便调用.[signal_decomposition_by_bp.rar]-基于基追踪（basispursuit）对信号进行稀疏表示的算法[cvx.zip]-凸规划建模系统,包含用户手册，有助于学习压缩感知。[grads.rar]-最优化理论与算法（第2版）这本书中的课后作业。用C实现的一些具体算法。

凸优化主要学习《凸优化》(Stephen Boyd等著，王书宁等译)[1]这本书。学习过程中，对其内容的理解时有困惑，也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了，成此系列笔记。

用目标函数的二阶泰勒展开近似该目标函数，通过求解这个二次函数的极小值来求解凸优化的搜索方向。

这从另一个角度揭示了为什么Newton步径是好的搜索方向了。

这里我没有去查找证明过程，我觉得只要知道就可以了，因为这有助于理解最速下降方法(《凸优化(六)——最速下降法》)。

在实际应用中，牛顿法往往比梯度下降法有更少的迭代次数。

2.2已经从一个角度说明了Newton步径是好的搜索方向。

知乎问答《最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？》[2]这篇也讲了一些，其中，排名第一的引自Wiki的“从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径”，比较有说服力和概括性。

图2形象地说明了牛顿法和梯度下降法的区别，红色为牛顿方法搜索路径，绿色为梯度下降法搜索路径。

牛顿法需要计算目标函数Hessian矩阵的逆矩阵，运算复杂度太高，计算效率很低，尤其维数很大时。拟牛顿算法的核心思想用一个近似矩阵替代逆Hessian矩阵。

[1]、《凸优化》，Stephen Boyd等著，王书宁等译

[2]、 《最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？》

凸优化(一)——概述

凸优化(二)——凸集

凸优化(三)——凸函数

凸优化(四)——问题求解

凸优化(五)——回溯直线搜索

凸优化(六)——最速下降法

凸优化(七)——牛顿法

凸优化(八)——Lagrange对偶问题

2016-08-08 第一次发布

”凸优化“ 是指一种比较特殊的优化，是指目标函数为凸函数且由约束条件得到的定义域为凸集的优化问题。

第一次见这个名词。百度百科里解释也很少。

电脑里的INF是Device INFormation File的英文缩写，是Microsoft公司为硬件设备制造商发布其驱动程序推出的一种文件格式，是Windows *** 作系统下用来描述设备或文件等数据信息的文件。INF文件是由标准的ASCII码组成，可以用任何一款文字编辑器查看修改其中的内容。

数学符号里inf，表示下确界，英文名infimum。

     对于函数y=f(x),在使f(x)大于等于M成立的所有常数M中,我们把M的最大值max(M)(即函数y=f(x)的最小值）叫做函数y=f(x)的下确界。

    下确界:在所有那些下界中如果有一个最大的下界,就称之为M的下确界。

---