Hessian矩阵

1 一元函数的极值

设函数在处具有二阶导数，若，则在处取得极值，且当时取得极小值，时取得极大值。

根据该定理，对于一个连续且处处具有二阶导数的一元函数，求它的极值方法为：首先求出的驻点，然后计算驻点处的二阶导数值，如果二阶导数不为0，则按照定理判断，如果为0，则需要根据极值的定义进行判定。

2 二元函数的极值

二元函数的极值问题一般可以使用偏导数来解决。

极值的必要条件：考虑二元函数在具有偏导数，且极值点，则有和。

一般情况下，多元函数的极值点与驻点并没有关联，因此需要下面的充分条件进行判定。

极值的充分条件：二元函数在点的某邻域内连续且有一阶和二阶连续偏导数，又，令：则在点：

当，有极值：若，则为极小值；若，则为极大值
当，无极值（此时的驻点称为鞍点，可以想象马鞍形从正面和侧面的投影分别是最高点和最低点）
当，可能有极值，可能没有极值，需要根据其他方法（比如根据定义）进行判断

该定理可以根据二元函数的泰勒公式证明，可以参考一些高等数学或数学分析教材，这里略。

3 Hessian矩阵和多元函数的极值

下面对更多元的函数极值进行研究，首先研究为什么二元函数的极值判别要使用。在上面的定理中，由于一阶和二阶偏导数连续，因此两个混合偏导数相等，即，因此，我们可以将排列成一个实对称矩阵形式：可以发现，该矩阵的行列式，我们称这种由二阶偏导数构成的矩阵为Hessian矩阵。可以发现，矩阵对应了一个二次型，下面以研究二次型的角度重新审视一下极值的充分条件定理。是的一阶顺序主子式，是的二阶顺序主子式，因此：

当的二阶顺序主子式大于零（），有极值：
- 若一阶顺序主子式大于零（），则为正定矩阵，函数具有极小值
- 若一阶顺序主子式小于零（），则为负定矩阵，函数具有极大值
当的二阶顺序主子式小于零（），则为不定矩阵（既非正定也非负定），无极值，此处为鞍点
当的二阶顺序主子式等于零（），则为半正定矩阵或半负定矩阵，极值情况不确定，需要用其他方法进一步判断

关于矩阵的正定，有如下定理。
定义：对于任意的不全为零的向量组，恒有成立，则称二次型为正定二次型，对应的实对称矩阵是正定矩阵。
正定的充要条件主要有以下几个：
的所有特征值都大于零
的正惯性指数为
的所有顺序主子式大于零（Hurwitz定理）
关于矩阵的负定，有如下定理。
定义：对于任意的不全为零的向量组，恒有成立，则称二次型为负定二次型，对应的实对称矩阵是负定矩阵。
负定的充要条件主要有以下几个：
的所有特征值都小于零
的负惯性指数为
的所有奇数阶顺序主子式小于零，所有偶数阶顺序主子式大于零（Hurwitz定理）
关于矩阵的半正定和半负定就是分别将上述定义中的和改成和即可。