Limited-memory Broyden-Fletcher-Goldfarb-Shanno (L-BFGS)

Cette méthode est dite quasi-Newton car elle reprend le raisonnement de la méthode Newton-Raphson. Seul le hessien est calculé différemment, il est approximée à partir du hessien du point précédent suivant l'équation suivante :

\(H_{k+1}=H_k+\frac{\Delta\nabla f .\Delta\nabla f^{T}}{\Delta\nabla f^{T}.\Delta x} - \frac{H_k.\Delta x.\Delta x^T.H_k}{\Delta x^T.H_k.\Delta x}\)

avec \(\Delta\nabla f = \nabla f(x_{k+1}) - \nabla f(x_k) et \Delta x=x_{k+1}-x_k\)

Avantages :

Prend en compte les informations des dérivées secondes sans calculer exactement l'inverse du hessien

Plus rapide que Newton-Raphson

Inconvénients :

Moins précis que Newton-Raphson

Plus cher en temps de calcul que SD et GC