最速下降法基于这样的原理：对于实值函数F(x)，如果F(x)在某点x_0处有定义且可微，则函数在该点处沿着梯度相反的方向-∇F(x_0)下降最快。因此，使用梯度下降法时，应首先计算函数在某点处的梯度，再沿着梯度的反方向以一定的步长调整自变量的值。
假设x_1=x_0-η∇F(x_0 )，当步长η足够小时，必有下式成立：
F(x_1 )<F(x_0)
因此，只需给定一个初始值x_0和步长η，根据
x_(n+1)=x_n-η∇F(x_n)
就可以得到一个自变量的序列，并满足
F(x_(n+1) )<F(x_n )<⋯<F(x_1 )<F(x_0 )
反复迭代，就可以求出函数的最小值。
对于BP神经网络来说，由于传递函数都是可微的，因此能满足最速下降法的使用条件。
变量定义
在三层BP网络中，假设输入神经元个数为M，隐含层神经元个数为I，输出层神经元个数为J。输入层第m个神经元记为x_m，隐含层第i个神经元记为k_i，输出层第j个神经元记为y_j。从x_m到k_i的连接权值为叫ω_mi，从k_i到y_j的连接权值为ω_ij。隐含层传递函数为Sigmoid函数，输出层传递函数为Sigmoid函数 基于BP神经网络算法的香料鉴别分析系统的研制(6):http://www.youerw.com/zidonghua/lunwen_18034.html