Introducere în gradientul conjugat
Conjugat Gradient este o metodă între cea mai abruptă metodă de coborâre și metoda lui Newton. Trebuie doar să folosească primele informații derivate, dar depășește deficiențele convergenței lente a celei mai abrupte metode de coborâre și evită necesitatea stocării în metoda lui Newton. În plus față de deficiențele de calcul al matricei Hesse și de a găsi inversa, metoda gradientului conjugat nu este doar una dintre cele mai utile metode pentru rezolvarea ecuațiilor liniare mari, ci și unul dintre cei mai eficienți algoritmi pentru rezolvarea optimizării neliniare mari.