基于神经网络的改进共轭梯度(2)
本文主要研究就是共扼梯度与神经网络算法相结合的改进算法，以此来取得该算法的全局收敛性。其中分为三个部分，第一部分给出的是关于研究的一些基本概念及认识；第二部分给出的是在对比不足之后，改进后的算法的一些基本原理以及基本算法的步骤；第三部分给出的是实例验证，通过给出两个实例与普通的共轭梯度法进行比较，从而得出下面的结论：相对于普通的共轭梯度算法，改进后的算法更有效。
1. 基本知识
1.1 共轭梯度的基本介绍
最优化即是找到所求解问题最优解，求最优解的过程中使目标函数在一定的范畴之中给定对应变量的值, 并且要在所给出的范畴之中去求解所需要的最优值，此方法叫做有约束的最优化。但是假如对目标函数不加以约束直接在一切可能值中求解最优值，此方法叫做无约束的最优化。这里主要研究的就是无约束的优化问题，而我们说所的共轭梯度法解决的其实就是非线性优化问题。
最速下降法和牛顿法都是一种常用的非线性的最优化算法，每一个方法都有不同于其他方法的一些优势，但是反之也有各自不足的地方，上面说的这两种算法也不例外。收敛速度比较缓慢即是最速下降法其中最主要的一个缺点，尤其是在越接近极小值的时候，收敛速度就会越缓慢。而牛顿法的缺点就是在求解的过程之中黑塞矩阵还需要去存储和计算，最后还要去求解它的逆，过程和计算都比较复杂。而下面所论述的共轭梯度法就是介于上面所说的这两种算法之中的一种特殊的方法，它既克服了上面两种方法的缺点也同时具备了它们各自不同的优点。共轭梯度法有很多种，主要有三种[5]。因为共轭梯度法具备了很多最优化算法所不具备的优点，比如稳定性比较高，存储量比较小，收敛速度比较快，二次终止性，矩阵不需要存储等等优点[4]，因而在求解大型线性方程组之中，共轭梯度法是比较有用而且比较有效的一种方法，这就使得共轭梯度法普遍地应用在实际生活之中了。
上一篇：函数凸性在经济学中的应用