1、无约束最优化

    2、带约束最优化

即研究的是 函数最小化 问题。（举例说明）

    1、选定初始点 

    2、确定搜索方向  ,依照一定规则，构造   在   点处的下降方向作为搜索方向。

    3、确定步长因子  ，使目标函数值有某种意义的下降

    4、令  , 若  满足某种终止条件，则停止迭代，得到最优解，否则重复（2）步骤。

    1、考虑二次式

        （问题：为什么是二次式呢？）

    2、二次式的可视化

        令上式中

        3、应用梯度方法找出下降方向

           问题1：是不是沿梯度下降的方向去选择方向就最好呢？——The Steepest Descent

           问题 2：最优点有什么性质？

    4、对于二次型有

    5、找出下降的步长

        1）精确步长（精确一维线性搜索）

        2）近似步长（不精确）

    6、常见最优化方法

        1）最速下降法

        2）牛顿法

        3）共轭梯度法

        4）拟牛顿法