Gradiyent tushish - Информатика и ИТ - Курсовые работы

Информация о документе

Цена	50000UZS
Размер	1.2MB
Покупки	0
Дата загрузки	01 Май 2025
Расширение	docx
Раздел	Курсовые работы
Предмет	Информатика и ИТ

Продавец

Telzor Uchun

Дата регистрации 21 Апрель 2025

24 Продаж

Gradiyent tushish

Купить

MAVZU: GRADIYENT TUSHISH
REJA:
I.KIRISH
II.ASOSIY QISM
II.1. Suniy neyron, suniy neyron to’rlari
II.2. Gradiyent tushish
II.3. Suniy neyron to’rlarini o’qitish
XULOSA
FOYDALANILGAN ADABIYOTLAR

KIRISH
Gradient tushishining ikki qadamini va uch nuqtasini olgandan so'ng,
uchinchi qadam jarlik tubi bo'ylab birinchi va uchinchi nuqtalarni bog'laydigan
vektor yo'nalishi bo'yicha amalga oshirilishi kerak. Kvadratga yaqin funktsiyalar
uchun konjugat gradyan usuli samarali bo'ladi.
Gradient tushishining asosiy sezgisini gipotetik stsenariy bilan tasvirlash
mumkin. Biror kishi tog'larda qolib, pastga tushishga harakat qilmoqda (ya'ni,
global minimumni topishga harakat qilmoqda). Qattiq tuman borki, ko'rish juda
past. Shuning uchun, tog'dan pastga tushadigan yo'l ko'rinmaydi, shuning uchun
ular minimalni topish uchun mahalliy ma'lumotlardan foydalanishlari kerak. Ular
gradient tushish usulidan foydalanishlari mumkin, bu esa hozirgi holatida
tepalikning tikligiga qarashni, so'ngra eng tik tushish yo'nalishi bo'yicha (ya'ni,
pastga) borishni o'z ichiga oladi. Agar ular tog'ning cho'qqisini (ya'ni, maksimal)
topishga harakat qilsalar, u holda ular eng tik ko'tarilish yo'nalishi bo'yicha (ya'ni,
tepalikka) harakat qilishardi. Ushbu usuldan foydalanib, ular oxir-oqibat tog'dan
pastga tushish yo'lini topishlari yoki biron bir teshikka (ya'ni, mahalliy minimal
yokiegar nuqtasi ), tog' ko'li kabi. Shu bilan birga, tog'ning tikligi oddiy kuzatuv
bilan darhol sezilmaydi, aksincha, o'lchash uchun odamda mavjud bo'lgan
murakkab asbobni talab qiladi, deb taxmin qiling. Asbob bilan tepalikning tikligini
o'lchash ancha vaqt talab etadi, shuning uchun ular quyosh botishidan oldin tog'dan
tushmoqchi bo'lsalar, asbobdan foydalanishni minimallashtirishlari kerak.
Keyinchalik qiyinchilik - bu yo'ldan ketmaslik uchun tepalikning tikligini o'lchash
chastotasini tanlashdir.
Ushbu o'xshashlikda odam algoritmni, tog'dan tushgan yo'l esa algoritm
o'rganadigan parametr sozlamalari ketma-ketligini ifodalaydi. Tepalikning tikligi
o'sha nuqtadagi funktsiyaning qiyaligini ifodalaydi. Tiklikni o'lchash uchun
ishlatiladigan asbob farqlashdir . Ular sayohat qilishni tanlagan yo'nalish o'sha
nuqtadagi funksiya gradientiga to'g'ri keladi. Boshqa o'lchovni o'tkazishdan oldin
ular sayohat qilgan vaqt miqdori qadam o'lchamidir.
3

II.ASOSIY QISM
II.1. Suniy neyron, suniy neyron to’rlari
Sun'iy neyron tarmoqlari (ANN) quyidagi rasmga o'xshash ko'p qatlamli
to'liq ulangan neyron tarmoqlardir. Ular kirish qatlami, bir nechta yashirin
qatlamlar va chiqish qatlamidan iborat. Bir qatlamdagi har bir tugun keyingi
qatlamdagi har bir boshqa tugunga ulanadi. Yashirin qatlamlar sonini ko'paytirish
orqali tarmoqni chuqurroq qilamiz.
Agar biz yashirin yoki chiqish tugunlaridan biriga kattalashtirsak, biz
quyidagi rasmga duch kelamiz.
Berilgan tugun o'z kirishlarining tortilgan yig'indisini oladi va uni chiziqli
bo'lmagan faollashtirish funktsiyasi orqali o'tkazadi. Bu tugunning chiqishi,
keyinchalik keyingi qatlamda boshqa tugunning kirishiga aylanadi. Signal chapdan
o'ngga oqadi va yakuniy chiqish barcha tugunlar uchun ushbu protsedurani bajarish
orqali hisoblanadi. Ushbu chuqur neyron tarmoqni o'rgatish barcha qirralar bilan
bog'liq og'irliklarni o'rganishni anglatadi 1
.
Berilgan tugun uchun tenglama quyidagicha ko'rinadi. Chiziqli bo'lmagan
aktivlashtirish funksiyasidan o'tgan erkli o'zgaruvchilarning tortilgan yig'indisi. U
vektorli nuqta mahsuloti sifatida ifodalanishi mumkin, bu erda n-tugun uchun
kirishlar soni.
Men soddaligi uchun qiyshiq muddatini yozilmaydi. Bias-bu barcha
tugunlarga kirish va har doim 1 qiymatiga ega. Bu faollashtirish funktsiyasining
natijasini chapga yoki o'ngga siljitish imkonini beradi. Shuningdek, u modelga
barcha kirish xususiyatlari 0 bo'lganda mashq qilishga yordam beradi. Agar bu
hozir murakkab tuyulsa, siz noto'g'ri shartlarni e'tiborsiz qoldirishingiz mumkin.
To'liqlik uchun yuqoridagi tenglama kiritilgan tarafkashlik bilan quyidagicha
ko'rinadi.
Hozircha biz oldinga o'tishni tasvirlab berdik, ya'ni kirish va chiqish qanday
hisoblanganligini og'irliklari berilgan. Trening tugagandan so'ng, biz bashorat
qilish uchun faqat oldinga o'tishni boshlaymiz. Ammo biz birinchi navbatda
1
Akhmedov, B. A., Kuchkarov, Sh. F., (2020). CLUSTER METHODS OF LEARNING ENGLISH USING
INFORMATION TECHNOLOGY. SCIENTIFIC PROGRESS, 1(2), 40-43.
4

og'irliklarni o'rganish uchun modelimizni o'rgatishimiz kerak va mashg'ulot tartibi
quyidagicha ishlaydi:
• Barcha tugunlar uchun og'irliklarni tasodifiy boshlang. Biz boshqa
maqolada kashf etadi aqlli boshlash usullari bor.
• Har bir mashg'ulot misoli uchun joriy og'irliklar yordamida oldinga
o'tishni bajaring va chapdan o'ngga o'tadigan har bir tugunning chiqishini
hisoblang. Yakuniy chiqish-bu oxirgi tugunning qiymati.
• Yakuniy natijani o'quv ma'lumotlaridagi haqiqiy maqsad bilan
Solishtiring va yo'qotish funktsiyasi yordamida xatoni o'lchang.
• O'ngdan chapga orqaga o'tishni bajaring va backpropagation
yordamida xatoni har bir alohida tugunga tarqating. Har bir vaznning xatoga
qo'shgan hissasini hisoblang va gradient tushish yordamida og'irliklarni mos
ravishda sozlang. Xato gradyanlarini oxirgi qatlamdan boshlab qayta tarqating.
Gradient kelib chiqishi bilan Backpropagation tom ma'noda chuqur o'rganish
modellari ortidagi "sehr" dir. Bu juda uzoq mavzu va ba'zi hisob-kitoblarni o'z
ichiga oladi, shuning uchun biz ushbu amaliy chuqur o'rganish seriyasining o'ziga
xos xususiyatlariga kirmaymiz. Gradient tushishini batafsil tushuntirish uchun bu
erga murojaat qiling. Backpropagation-ning asosiy ko'rinishi bu erda mavjud.
Batafsil matematik davolash uchun bu erda va bu erda murojaat. Va yanada
rivojlangan optimallashtirish algoritmlari uchun bu erga murojaat qiling.
Standart ML dunyosida ushbu oldinga yo'naltirilgan arxitektura ko'p
qatlamli perceptron sifatida tanilgan. ANN va perceptron o'rtasidagi farq shundaki,
ANN sigmasimon kabi chiziqli bo'lmagan faollashtirish funktsiyasidan
foydalanadi, ammo perceptron qadam funktsiyasidan foydalanadi. Va bu
chiziqsizlik Annga o'zining katta kuchini beradi.
Sezgi
Ko'p allaqachon davom bo'lyapdi, hatto asosiy oldinga dovoni bilan. Keling,
buni soddalashtiraylik va uning orqasidagi sezgi tushunaylik.
Aslida ANNNING har bir qatlami nima qiladi-bu kirishni bir vektor
fazosidan boshqasiga chiziqli bo'lmagan o'zgartirish.
5

Misol sifatida yuqoridagi 1-rasmdagi Anndan foydalanamiz. Bizda 3D
fazodagi vektorga mos keluvchi 3 o'lchovli erkli o'zgaruvchi mavjud. Keyin biz
uni har biri 4 tugunli ikkita yashirin qatlamdan o'tkazamiz. Va yakuniy chiqish 1D
vektor yoki skalar 2
.
Shunday qilib, agar biz buni vektorli transformatsiyalar ketma-ketligi
sifatida tasavvur qilsak, avval 3D kiritishni 4D vektor fazosiga moslashtiramiz,
so'ngra yangi 4D fazoga yana bir o'zgartirishni amalga oshiramiz va yakuniy
transformatsiya uni 1d ga kamaytiradi. bu shunchaki matritsa ko'paytmalari zanjiri.
Oldinga o'tish ushbu matritsali nuqta mahsulotlarini bajaradi va natijaga
aktivizatsiya funktsiyasini element bo'yicha qo'llaydi. Quyidagi rasmda faqat
ishlatilayotgan og'irlik matritsalari ko'rsatilgan (aktivlashishlar emas).
Fikr
Hozircha biz chuqur modellar nima va ular qanday ishlashi haqida
gaplashdik, lekin nima uchun biz birinchi navbatda chuqur ketishimiz kerak?
Biz ANN qatlami o'z erkli o'zgaruvchilarini bir vektor fazodan ikkinchisiga
chiziqli bo'lmagan o'zgartirishni amalga oshirishini ko'rdik. Agar biz tasniflash
muammosini misol qilib olsak, qaror chegarasini chizish orqali sinflarni
ajratmoqchimiz. Berilgan shakldagi kirish ma'lumotlari ajratilmaydi. Har bir
qatlamda chiziqli bo'lmagan o'zgarishlarni amalga oshirish orqali biz kirishni yangi
vektor maydoniga loyihalashtira olamiz va sinflarni ajratish uchun murakkab qaror
chegarasini chizamiz.
Keling, aniq bir misol bilan tasvirlangan narsalarni tasavvur qilaylik.
Quyidagi ma'lumotlarni hisobga olsak, u chiziqli ravishda ajratilmasligini
ko'rishimiz mumkin.
Xulosa qilib aytganda, Annlar juda moslashuvchan, ammo kuchli chuqur
o'rganish modellari. Ular universal funktsiya taxminchilari, ya'ni ular har qanday
murakkab funktsiyani modellashtirishi mumkin. Yaqinda bir nechta sabablarga
ko'ra ularning mashhurligi bo'yicha aql bovar qilmaydigan o'sish kuzatildi: bu
2
Yusupov D.F. Kompyuternaya texnologiya obucheniya i operejayushaya podgotovka studentov i prepodavateley
na osnove logicheskoy graf- semanticheskoy modeli dissiplini/ «fan, ta’lim va ishlab chiqarish integratsiyasini
axborot kommunikatsiya texnologiyalari asosida rivojlantirish muammolari» respublika ilmiy-amaliy anjuman
materiallari. TATU Qarshi filiali, 2012 yil 14-15 mart.
6

modellarni tayyorlashga imkon beradigan aqlli fokuslar, hisoblash quvvatining
katta o'sishi, ayniqsa Gpu'lar va tarqatilgan treninglar va o'quv ma'lumotlarining
katta miqdori. Bularning barchasi chuqur o'rganishga imkon berdi 3
.
3
Yusupov D.F. Kompyuternaya texnologiya obucheniya i operejayushaya podgotovka studentov i prepodavateley
na osnove logicheskoy graf- semanticheskoy modeli dissiplini/ «fan, ta’lim va ishlab chiqarish integratsiyasini
axborot kommunikatsiya texnologiyalari asosida rivojlantirish muammolari» respublika ilmiy-amaliy anjuman
materiallari. TATU Qarshi filiali, 2012 yil 14-15 mart.
7

II.2. GRADIYENT TUSHISH
1.Gradient tushish usulini Sun’iy neyro’n tarmoqlarida qo’llash
Gradient tushish usuli, ba'zi bir o'zgartirishlar bilan, pertseptonni o'rgatish
uchun keng qo'llaniladi va sun'iy neyron tarmoqlari nazariyasida orqaga qaytarish
usuli sifatida tanilgan. "Perceptron" tipidagi neyron tarmoqni o'rgatishda, kirish
ma'lumotlarini o'qitish ketma -ketligi berilganda, neyron tarmoq chiqishidagi
o'rtacha xatolikni kamaytirish uchun tarmoqning og'irlik koeffitsientlarini
o'zgartirish kerak. Rasmiy ravishda, gradientni tushirish usuli bo'yicha faqat bir
qadamni bajarish uchun (tarmoq parametrlarida faqat bitta o'zgarish qilish uchun),
ta'lim ma'lumotlarining butun majmuasini ketma -ket tarmoq kirishiga yuborish,
har bir mashg'ulot uchun xatoni hisoblash kerak. ma'lumotlar ob'ekti va tarmoq
koeffitsientlarining kerakli tuzatishlarini hisoblang (lekin buni qilmaslik uchun).
tuzatish) va barcha ma'lumotlarni yuborganingizdan so'ng, har bir tarmoq
koeffitsientini (gradiyentlar yig'indisi) tuzatish summasini hisoblang va
koeffitsientlarni to'g'rilang. "Bir qadamda". Shubhasiz, katta miqdordagi o'quv
ma'lumotlari bilan algoritm juda sekin ishlaydi, shuning uchun amalda tarmoq
koeffitsientlari har bir o'quv elementidan keyin to'g'rilanadi, bu erda gradient
qiymati faqat bittasiga hisoblangan xarajatlar funktsiyasining gradienti bilan
taxmin qilinadi. o'quv elementi. Bu usul deyiladi stoxastik gradyan tushishi yoki
operatsion gradyan tushishi ... Stokastik gradientning tushishi - stokastik
yaqinlashuvning bir shakli. Stokastik yaqinlashuvlar nazariyasi stokastik gradient
tushish usulining yaqinlashuvi uchun shart -sharoitlar beradi.
Muammoning shakllanishi
Funktsiya berilgan f (x) R n Majburiy f (x) X = R n
x k } , k = 0,1, ..., shu kabi . Tartib nuqtalari ( x
k ) qoidaga muvofiq hisoblanadi nuqta qayerda x 0 foydalanuvchi tomonidan
8

o'rnatilgan; qadam o'lchami t k har bir qiymat uchun belgilanadi k shartdan (3)
muammoni zarur minimal shart yordamida hal qilish mumkin, keyinchalik etarli
minimal shartni tekshirish mumkin. Bu yo'lni oddiy funktsiyani minimallashtirish
yoki etarlicha murakkab funktsiyani oldindan taxmin qilish uchun ishlatish
mumkin.
polinom P (t k) (odatda ikkinchi yoki uchinchi darajali),
keyin shart shart bilan almashtiriladi va shart shart bilan almashtiriladi.
Tartibni qurish (x k) nuqtada tugaydi x k , buning uchun, qayerda ε -
berilgan kichik musbat son, yoki k ≥ M , qaerda M - takroriy sonlarning
cheklangan soni yoki ikkita tengsizlik bir vaqtning o'zida ikkita bajarilgan taqdirda
qayerda 2 - kichik ijobiy raqam. Savol -
nuqta mumkinmi, degan savol x k mahalliy minimalning kerakli nuqtasining
topilgan yaqinlashuvi deb hisoblanadi x * , qo'shimcha tadqiqotlar yordamida hal
qilinadi. Usulning geometrik talqini n = 2 anjirda
9

Koordinatali tushish usuli Muammoning shakllanishi Funktsiya berilgan f
(x) to'plamda quyida chegaralangan R n va uning barcha nuqtalarida uzluksiz
qisman lotinlarga ega. f (x) mumkin bo'lgan echimlar to'plamida X = R n , ya'ni
shunday nuqta toping
Qidiruv strategiyasi Muammoni hal qilish strategiyasi nuqta
ketma -ketligini tuzishdir ( x k } , k = 0,1, ..., shu kabi , k = 0,1, ... ... Tartib
nuqtalari ( x k ) qoidaga muvofiq tsikllarda hisoblab chiqiladi
qayerda j - hisoblash tsikli raqami; j = 0,1,2, ...; k - pastadir ichidagi
takrorlanish soni, k = 0,1, ..., n - 1; e k +1, k = 0, l, ..., n - 1 -birlik vektori, (k +1) -
chinchi proyeksiyasi 1 ga teng; nuqta x 00 foydalanuvchi tomonidan aniqlangan,
qadam o'lchami t k shartdan tanlanadi
Agar tanlangan holat joriyda bo'lsa t k bajarilmaydi, qadam ikki baravar
kamayadi va nuqta
qayta hisoblangan. Ruxsat etilgan j uchun bitta takrorlashda
raqam bilan ekanligini ko'rish oson k nuqtaning faqat bitta proektsiyasi o'zgaradi x
jk raqamlangan k + 1 va butun tsikl davomida raqam bilan j , ya'ni bilan
boshlanadi k = 0 va tugatish k = n -1 , nuqtaning barcha n proektsiyalari o'zgaradi
x j0 ... Shu nuqtadan keyin x j n raqam tayinladi x j + 1.0 va u hisob -kitoblarning
boshlanish nuqtasi sifatida qabul qilinadi j + 1 tsikl Hisoblash nuqtada tugaydi x jk
Hisoblashning uchta mezonidan kamida bittasi bajarilganda:
Hisob -kitoblar natijasida olingan ballarni ketma -ketlik elementlari sifatida yozish
10

mumkin (x l), qayerda l = n * j + k - nuqtaning tartib raqami, N = 2 usulining
geometrik talqini rasmda ko'rsatilgan. Beshta
2.Frank-Vulf usuli .
Konkav funktsiyasining maksimal qiymatini topish talab qilinadi
Shartlar ostida
Bu muammoning o'ziga xos xususiyati shundaki, uning cheklovlar tizimi faqat
chiziqli tengsizliklarni o'z ichiga oladi. Bu xususiyat o'rganilayotgan nuqta
yaqinida chiziqli bo'lmagan ob'ektiv funktsiyani chiziqli funktsiyaga almashtirish
uchun asos bo'lib xizmat qiladi, buning natijasida dastlabki masalaning echimi
chiziqli dasturlash masalalarining ketma -ket echimiga kamayadi. Muammoning
echimini topish jarayoni mumkin bo'lgan echimlar mintaqasiga tegishli nuqtani
aniqlashdan boshlanadi 270 dachalar. Bu nuqta bo'lsin X (k) keyin bu vaqtda (57)
funksiyaning gradienti hisoblab chiqiladi Va chiziqli funktsiyani tuzing
11

Keyin bu funksiyaning maksimal qiymati (58) va (59) cheklovlar ostida
topiladi. Bu muammoning echimi nuqta bo'yicha aniqlansin Z (k) ... Keyin nuqta
koordinatalari asl muammoning yangi mumkin bo'lgan echimi sifatida qabul
qilinadi X (k +1) : Qaerda λ k - hisoblash bosqichi deb nomlangan va nol va bitta
(0< λ k < 1). Это число λ k o'zboshimchalik bilan olingan yoki aniqlangan
Shunday qilib, funktsiyaning nuqtadagi qiymati X (k +1) f (X (k +1)) bog'liq holda
λ k , maksimal edi. Buning uchun tenglamaning yechimini topib, uning eng kichik
ildizini tanlash kerak. Agar uning qiymati birdan katta bo'lsa, uni qo'yish kerak λ
k=1 ... Raqam aniqlangandan keyin λ k nuqta koordinatalarini toping X (k +1)
undagi maqsad funktsiyasining qiymatini hisoblang va yangi nuqtaga o'tish
zarurligini bilib oling X (k +2) ... Agar shunday ehtiyoj bo'lsa, o'sha paytda
hisoblang X (k +1) maqsadli funktsiyaning gradienti, mos keladigan chiziqli
dasturlash masalasiga o'ting va uning echimini toping. Nuqtaning koordinatalarini
aniqlang va X (k +2) va qo'shimcha hisob -kitoblar zarurligini tekshiradi.
Cheklangan sonli qadamlardan so'ng, kerakli aniqlik bilan asl muammoning echimi
olinadi. Shunday qilib, (57) - (59) muammoning
Frank -Vulf usuli bilan yechimini topish jarayoni quyidagi bosqichlarni o'z
ichiga oladi.:
1. Muammoning dastlabki mumkin bo'lgan echimini aniqlang.
2. Mumkin bo'lgan echim nuqtasida (57) funktsiyasining gradientini toping.
3. Build funksiyasi (60) va uning maksimal qiymatini (58) va (59)
sharoitlarda toping.
4. Hisoblash bosqichini aniqlang.
5. (61) formulalar yordamida yangi mumkin bo'lgan echimning
komponentlari topiladi.
6. Keyingi mumkin bo'lgan echimga o'tish zarurligini tekshiring. Agar kerak
bo'lsa, 2 -bosqichga o'ting, aks holda asl muammoning maqbul echimi topiladi.
12

II.3. Suniy neyron to’rlarini o’qitish
O’qituvchili o’qitish (Supervised learning ) - bu modelni xususiyatlari
an i q bo’lgan ma’lumotlar bilan o’qitish . O qituvchilʻ i MO’Tlarda obyektlar
to’plami ( OT) va ularning belgilari hamda bu belgilarning qanday sinfga
qarashli ekanligi, ya’ n i sinflarning nomi berilgan bo ladi
ʻ . Bunda y turdagi o’qitish
usullar i g a regre s siy a ( 1- rasm ) v a sinflashtiris h masalalar i ni misol keltirish
mumkin . Bunda xususiyatlari a n iq deganda kir u vchi va chiquv c hi parametrlar
m avjud bo’lishi naza r da tutiladi.
1-rasm . Regressiy a ga misol.
13

2-rasm . Sinflashga mis o l.
3-rasm . Regressiy a va s inflashga m i sol.
14

Modelni o ’ qitishd a foydalaniladig a n ma ’ lumotlar odatda ikkita
qismga ajratiladi va ular 80:20 nisbatda olinadi . Ya ’ ni ma ’ lumotlar n ing 80%
o ’ qitiluv c hi ma ’ lumot va qolgan 20% esa m odelni testlov c hi ma ’ lum o t bo ’ lib
xizmat q iladi .
4-rasm . O’qituvchili o ’ qitis h masalalari.
O’qitish jarayonida model kiruvchi va chiquvc h i ma’lumotlarni n g 80%
dan foydalanadi va modelni o’qitish faqat ushbu ma’lumot orqali amalga
oshirilad i ( 4- rasm).
5-rasm . O’qituvchili o ’ qitish (Super v ised learning ) sxemas i . O’qituvchili
o’qitis h algoritmlariga m isollar:
• chiziql i regress i ya (Linear Re g ression);
15

• eng yaqin qo ' shni (Neare s t Neighbor);
• Gauss sodda l igi Bayesiyal i k (Gaussian Naive Bayes);
• qaror dar a xtlari (Decis i on Trees);
• vektorli m a shinani qo'llab - quvvatlash ( S upport Vector Mach i ne (SVM));
• tasodifiy o' r mon (Ra n dom Forest).
6-rasm . O’qituvchisi z o’qitis h sxemasi
O’qituvchisiz o’qitish (unsuper v ised learning ) - bu mashinani o’qitish
usulidan biri bo’lib, bunda modelni oldindan aniq bo’lgan ma’lumotlar bilan
o’qiti s h amalga oshirilmay d i, aksincha obyekt parametrlar i ni (ma'lu m otlarni)
topish uchun modelga o'z ustida ishlashga imkon yaratib
beriladi . O ʻ qituvc h isi z MO’ T lard a faqat OT va ularning BT berilgan bo lib,ʻ
obyektla r ning qaysi sinfga qarashli ekanl i gi berilmaydi. Bunday tizimlar ko p
ʻ
hollarda taksonomik tizimlar deyiladi, ya’ni taksonlarga qar a b, obyektlar
s un’iy ravis h da sinfla r ga ajratiladi.
O’qituvchisiz o’qiti s h usuliga qaragan d a murakkab usul hisoblanadi
va bashoratlash jara y oni avtoma t ik lekin noa n iqroq bo’lishi m umkin.
O’qituvchisiz o ’ qitis h usulida asos a n “klasterlash” m a salasi yechiladi.
16

a) Namuna. b) Klasterlar.
7-ras m . Klasterlashga misol
Klasterlash u s ullari:
· Ierarxik klasterl a sh (Hierar c hical cluster i ng);
· K - klasterlash v o sitasi (K-means clustering);
· K eng yaqin q o'shnilar (K - NN (k neare s t neighbors));
· asosiy tarki b i y qismlarni t a hlil qilish (P r incipal C omponent A n alysis);
· bitta qiymat bo'yicha parchalanish (S i ngular Value Decomposit i on);
· komponentla r ning must a qil tahlili (Ind e pendent Com p onent Analy s is).
Chuqur o’qitis h - bu ko'p qatlamli neyro n tarmoqlar i ni tadqiq
qilinayotg a n obyektga tegishli juda katta miqdordagi ma'lumotla r dan
foydalanib, ularning tuzilishi va xus u siyatlarini tush u nishga qa r atilgan
jara y ondir.
Chuqur o’qitis h – b u ko' p pog’onal i taqdimotni o'rganishga
asoslangan mashinal i o ' qitis h algoritmlari to'plamidir . Bir nechta
taqdimo t pog’nalari abstraktsiyan i ng bir necht a pog’onasin i anglatad i .
17

X U L O S A
"Gradiyent tushishi" ("Gradient Descent") atamasi, sun'iy intellekt (SI) va
mashina o'qitish sohalarida keng qo'llaniladi. Bu atama, o'zgaruvchilar bo'yicha
ma'lumotlar tizimini o'rganishda va modelni optimallashtirishda ishlatiladi.
Gradiyent tushishi asosan quyidagi bosqichlardan iborat:
Maqsad funksiyasi: Modelni o'rganishda yoki boshqa matematik modellarda
o'zgaruvchilarni qanday o'zgarayotganligini va ularning o'zgarishlarini
belgilaydigan maqsad funksiyasi (objective function) bo'lishi kerak. Maqsad
funksiyasi, umumiy maqsadni tavsiflaydi, masalan, kamtar xato hisoblanish yoki
yuqori darajadagi to'g'ri javobni topish.
Gradiyent: Maqsad funksiyasining o'zgaruvchilar bo'yicha gradiyenti, ya'ni
o'zgaruvchilarni qo'shib yoki ayrib turganida funksiyaning qanday
o'zgarayotganligini ko'rsatuvchi o'zgaruvchan vektor tushishi kerak. Gradiyent
tushishi, o'zgaruvchilar bo'yicha funksiyaning o'zgarish tezligini (tolalarini)
ifodalaydi.
Boshlang'ich qiymatlar: Boshlang'ich qiymatlar aniqlangan gradiyent
tushishi uchun asosiy parametrlardir. Bu, o'zgaruvchilarning boshlang'ich
qiymatlari va o'zgarishlarni boshlash uchun ishlatiladi.
Optimizatsiya: Gradiyent tushishi orqali, maqsad funksiyasining minimum
yoki maksimum nuqtasi topish uchun o'zgaruvchilarni yangilash (update) jarayoni
olib boriladi. Bu jarayon ma'lum bir tushuncha orqali bajariladi va modelni
optimallashtiradi.
Gradiyent tushishi, sun'iy intellektning o'rganish modelini o'rgatish va
qo'llashda eng mashhur optimizatsiya usullaridan biridir. Bu usul, ma'lumotlarni
o'rganish orqali modelni yaxshi darajada optimallashtirish uchun foydalaniladi.
18

FOYDALANILGAN ADABIYOTLAR
1. Cybenko, G. 1989. Approximation by superpositions of a sigmoidal
function Mathematics of Control, Signals, and Systems, 2(4), 303–314.
2. Linnainmaa, Seppo (1970). The representation of the cumulative
rounding error of an algorithm as a Taylor expansion of the local rounding errors
(Masters) (in Finnish). University of Helsinki. pp. 6–7.
3. Kelley, Henry J. (1960). "Gradient theory of optimal flight paths".
ARS Journal. 30 (10): 947–954. doi:10.2514/8.5282.
4. Rosenblatt, Frank. x. Principles of Neurodynamics: Perceptrons and
the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961
5. Werbos, Paul (1982). "Applications of advances in nonlinear
sensitivity analysis" (PDF). System modeling and optimization. Springer. pp. 762–
770. Archived (PDF) from the original on 14 April 2016. Retrieved 2 July 2017.
6. Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams.
"Learning Internal Representations by Error Propagation". David E. Rumelhart,
James L. McClelland, and the PDP research group. (editors), Parallel distributed
processing: Explorations in the microstructure of cognition, Volume 1:
Foundation. MIT Press, 1986.
7. Hastie, Trevor. Tibshirani, Robert. Friedman, Jerome. The Elements
of Statistical Learning: Data Mining, Inference, and Prediction. Springer, New
York, NY, 2009.
8. Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model For
Information Storage And Organization in the Brain". Psychological Review. 65
(6): 386–408. CiteSeerX 10.1.1.588.3775. doi:10.1037/h0042519. PMID
13602029. S2CID 12781225.
9. Rosenblatt, Frank (1962). Principles of Neurodynamics. Spartan, New
York.
10. Schmidhuber, Juergen (2022). "Annotated History of Modern AI and
Deep Learning". arXiv:2212.11279 [cs.NE].
19

ILOVA
Gradiyent tushishi (Gradient Descent) algoritmi Python dasturlash tilida
hamda sun'iy intellekt sohasida mashina o'qitish uchun ko'p foydalaniladigan
metodlardan biridir. Quyidagi kodlar, o'zgaruvchilarni optimallashtirish maqsadida
gradiyent tushishi algoritmini bajaruvchi oddiy bir Python skriptini ko'rsatadi:
import numpy as np
def gradient_descent(X, y, learning_rate, iterations):
"""
Gradiyent tushishi algoritmi.
X: Ma'lumotlar
y: Maqsad qiymatlar
learning_rate: O'rganish tezligi
iterations: Yangilanishlar soni
"""
m, n = X.shape # m - obyektlar soni, n - o'zgaruvchilar soni
theta = np.zeros((n, 1)) # O'zgaruvchilarning boshlang'ich qiymatlari
for _ in range(iterations):
# Gradiyent tushish formulasi
gradient = (1/m) * X.T.dot(X.dot(theta) - y)
# O'zgaruvchilarni yangilash
theta = theta - learning_rate * gradient
return theta
# Boshqa funksiyonlar va parametrlar
# ...
# Ma'lumotlar va maqsad qiymatlar
X = np.random.rand(100, 2) # Obyektlar va o'zgaruvchilar
y = 3 * X[:, 0].reshape(-1, 1) + 4 * X[:, 1].reshape(-1, 1) + np.random.randn(100,
1) * 0.5 # Tasodifiy maqsad qiymatlar
# Gradiyent tushishni bajarish
20

learning_rate = 0.01
iterations = 1000
optimized_parameters = gradient_descent(X, y, learning_rate, iterations)
print("Optimal o'zgaruvchilar:", optimized_parameters)
Bu kodda, gradient_descent funksiyasi ma'lumotlar (X), maqsad qiymatlar
(y), o'rganish tezligi (learning_rate) va yangilanishlar soni (iterations) bo'yicha
gradiyent tushishni bajaradi. Ushbu funksiya o'zgaruvchilarni optimallashtirib,
optimal o'zgaruvchilar (theta) qiymatlarini qaytaradi.
Muhimi: Ushbu kod tushuncha maqsadida tuzilgan, va amaliyoti modelning
to'g'ri ishlashi uchun boshqa funksiyonlar, tekshirishlar, va ma'lumotlar ishlatilishi
mumkin.
21

GRADIYENT TUSHISH.docx

Купить