Iteratsiya usuli -matematik masalalarni taqribiy yechish sonli usulidir uning mohiyati shundaki keyingi qadamda, yana taqribiy (oldingisidan ko’ra aniqroq) yechim topib borishdir

Gradient usuli.Maqsad funksiyasining optimumini topishning bu usulida maqsad funksiyaning gradientidan foydalaniladi. Bunda qidiruv qadami maqsad funksiyasining eng tez o‘zgaruvchi yo‘nalishida qo‘yiladi, bu esa albatta optimumni topish jarayonini tezlashtiradi.
Qidiruvning birinchi bosqichida, hamma o‘zgaruvchilar bo‘yicha hosilalar hisoblab chiqilib, shu nuqtada funksiya gradientining qiymati va yo‘nalishi topiladi. Ikkinchi bosqichida, agar maqsad funksiyasining minimumini qidirilayotgan bo‘lsa, gradient yo‘nalishiga teskari yo‘nalishda qidirish qadami qo‘yiladi, ya’ni funksiyaning eng tez kamayishi yo‘nalishida.
Qidirish qadamidan so‘ng, hamma o‘q yo‘nalishlar bo‘yicha parametrlarning qiymati o‘zgaradi. Ya’ni, ulardan har biri gradient qiymatlaridagi hissasiga proporsional ravishda o‘sadi.
Xuddi relaksatsiya usuliga o‘xshab, hamma o‘q yo‘nalishlar bo‘yicha hosilalar hisoblanadi, lekin bu usulda optimumga optimal yaqinlashib boriladi.
Gradient usuli algoritmini quyidagicha yozish mumkin:
X_^(k+1)q X_^(k)-h^(k)
Ba’zi bir hollarda qidirish quyidagi algoritm bo‘yicha amalga oshiriladi:

Bu yerda, qidirish qadami
q ;
Bu algoritm bo‘yicha, qidirish qadami kattaligi funksiya gradienti absolyut qiymatini o‘zgarish bo‘yicha avtomatik o‘zgarib boradi.
Bu usulda, xar qadamdan so‘ng maqsad funksiyasining xosilalari hamma o‘q yo‘nalishi bo‘yicha aniqlanadi, ya’ni funksiya gradienti eng tez o‘zgarish yo‘nalishi aniqlanadi va shu yo‘nalishda qidirish davom ettiriladi .
(30.3-rasmda chizik bilan kursatilgan).

30.3-rasm.
Agar qidirish qadamining boshlang‘ich qiymati kichik bo‘lsa, unda maqsad funksiyasi xosilalarining juda ko‘p marotaba hisoblashga to‘g‘ri keladi, aksincha, qadam katta bo‘lsa, funksiya optimum atrofida qidirishda «ivirsilanish»(ro‘skanie) bo‘lishi mumkin.
Funksiya gradienti faqat qiymati hisoblangan nuqtaga ortogonal bo‘lib, shuning uchun har qadamdan keyin funksiya gradienti yo‘nalishi avvalgisidan farqli bo‘ladi. Shuning uchun har qadamdan so‘ng qidirish yo‘nalishi hisoblangan funksiya gradienti yo‘nalishi bo‘yicha tanlanadi.
Optimumni qidirishni yakunlanganligini, maqsad funksiyasini qiymatlarini solishtirish bo‘yicha aniqlanadi. Agar maqsad funksiyasi qiymati avvalgi qadamdagidan kichik bo‘lsa (agar maqsad funksiyasining minimumi qidirilayotgan bo‘lsa), unda qidiruv davom ettiriladi, agar teskari bo‘lsa, unda qidiruv to‘xtatiladi va olingan maqsad funksiyasining eng kichik qiymati qidirilayotgan optimum deb qabul qilinadi.
Kamchiligi: lokal optimumga «tortilish» xususiyatining borligi.