Limited-memory Broyden-Fletcher-Goldfarb-Shanno (L-BFGS)
Cette méthode est dite quasi-Newton car elle reprend le raisonnement de la méthode Newton-Raphson. Seul le hessien est calculé différemment, il est approximée à partir du hessien du point précédent suivant l'équation suivante :
\(H_{k+1}=H_k+\frac{\Delta\nabla f .\Delta\nabla f^{T}}{\Delta\nabla f^{T}.\Delta x} - \frac{H_k.\Delta x.\Delta x^T.H_k}{\Delta x^T.H_k.\Delta x}\)
avec \(\Delta\nabla f = \nabla f(x_{k+1}) - \nabla f(x_k) et \Delta x=x_{k+1}-x_k\)
Avantages :
Prend en compte les informations des dérivées secondes sans calculer exactement l'inverse du hessien
Plus rapide que Newton-Raphson
Inconvénients :
Moins précis que Newton-Raphson
Plus cher en temps de calcul que SD et GC