Xatolik funksiyalari. o'rtacha kvadratik xatolik funksiyasi
![Neyron tо‘rini о‘qitishni oddiy misolda kо‘rib chiqamiz. Aytaylik neyron
tо‘ri bitta kirish va bitta chiqish elementidan tarkib topgan. Maktab kursidan
ma’lumki fizika darslarida tajribalar о‘tkaziladi va dekart tekisligida uning grafigi
quriladi. Masalan, quyidagi tajriba ma’lumotlari olingan: kirish signallarini qiymati
X={xi}, Y={yi}, i=1,2,….,n. Grafikda korrelyatsiya maydonidagi nuqtalarning
joylashganligiga qarab bu yerdagi kirish va chiqish orasidagi analitik bog‘lanish
tо‘g‘ri chiziqga yaqinligshi kо‘rinib turibdi [44-48].
Statistik tahlildagi eng kichik kvadratlar metodini qо‘llab izlanayotgan
tо‘g‘ri chiziqning parametrlarini topish mumkin. Tо‘g‘ri chiziq tenglamasi
quyidagi formula bilan beriladi
y =ax +b ,
bu yerda x va u о‘zgaruvchilar (masalan, о‘rganilayotgan jarayondagi biror
parametrning qiymatlari), a tо‘g‘ri chiziqning x о‘qiga nisbatan qiyshayishini yoki
gradiyentini aniqlaydi, b esa tо‘g‘ri chiziqni u о‘qini kesish nuqtasi. Eng kichik
kvadratlar usuli bilan analitik funksiyaning a va b parametrlarini qiymatini
aniqlashimiz mumkin.
О‘qituvchi yordamida о‘qitish shuni nazarda tutadiki, har bir kirish vektori
uchun talab qilingan maqsadli chiqish vektori mavjud. Ikkalasi birgalikda
о‘qitadigan juftlik deb nomlanadi. Odatda neyron tо‘rlari mana shunday о‘qituvchi
juftliklar tо‘plami bilan о‘qitiladi. Chiqish vektorlariga talablar qо‘yiladi, tо‘rning
chiqishi hisoblanadi va mos ravishda maqsadli vektor bilan solishtiriladi, ular
orasidagi farq (xatolik) teskari aloqa vositasida tо‘rga uzatiladi, va tо‘rning vaz
koeffitsiyentlarini qiymati о‘zgaradi mos ravishda belgilangan algoritm bо‘yicha,
algoritm xatolikni minimallashtirishga qaratilgan. О‘qituvchi tо‘plam vektorlari
ketma-ket beriladi, xatoliklar hisoblanadi, va har bir vektor uchun vazn
koeffitsiyentlari tо‘g‘rilanadi, bu jarayon to butun о‘qituvchi massiv bо‘yicha
umumiy xatolik birorta belgilangan qiymatdan kam bо‘lguncha.
О‘qituvchisiz о‘qitishda chiqishlar uchun maqsadli vektor shart emas va
yana ideal javoblar bilan solishtirishni talab qilmaydi. О‘qituvchi tо‘plam faqat
14](https://docx.uz/documents/5402fecd-95cd-4b80-80cb-d2bda0d7e464/page_13.png?v=1)
![2.2. O’rtacha kvadratik xatolik funksiyalari
O'rtacha kvadrat xato (MSE) L2 yo'qolishi deb ham ataladi, bu ham
regressiya uchun ishlatiladigan yo'qotish funktsiyasidir. Bu ma lumotlar to plamiʼ ʻ
bo yicha o rtacha farqning kvadrati bo yicha chiqarilgan dastlabki va bashorat
ʻ ʻ ʻ
qilingan qiymatlar o rtasidagi farqni ifodalaydi.
ʻ
MSE chetga nisbatan sezgir va bir xil kiritish xususiyati qiymatlari bilan bir
nechta misollar keltirilsa, optimal bashorat ularning o‘rtacha maqsadli qiymati
bo‘ladi. Buni o'rtacha mutlaq xato bilan solishtirish kerak, bu erda optimal
bashorat mediana hisoblanadi. Shunday qilib, agar siz kiritilgan ma lumotlarga
ʼ
asoslangan maqsadli ma lumotlaringiz odatda o rtacha qiymat atrofida
ʼ ʻ
taqsimlanadi, deb hisoblasangiz va o ta yuqori qiymatlarni jazolash muhim bo lsa,
ʻ ʻ
MSE dan foydalanish yaxshidir.
Statistikada RMS xatosi (MSE) yoki baholovchining RMS og'ishi (MSD)
(kuzatilmaydigan qiymatni baholash protseduralari) xato kvadratlarining o'rtacha
qiymatini, ya'ni taxminiy qiymatlar va haqiqiy qiymat o'rtasidagi RMS farqini
o'lchaydi. MSE-bu xato kvadratidan kutilgan yo'qotish qiymatiga mos keladigan
xavf funktsiyasi.[2] MSE deyarli har doim qat'iy ijobiy (nolga teng emas) ekanligi
tasodifiylik yoki baholovchi aniqroq baho berishi mumkin bo'lgan ma'lumotlarni
hisobga olmasligi bilan bog'liq.[3] mashinani o'rganishda, xususan, empirik xavfni
minimallashtirishda, mse empirik xavfni (kuzatilgan ma'lumotlar to'plamidagi
o'rtacha yo'qotishlarni) haqiqiy MSE (haqiqiy xavf: aholining haqiqiy
taqsimlanishidagi o'rtacha yo'qotishlarni) baholash sifatida ko'rib chiqishi mumkin.
MSE-bu baholash sifatining o'lchovidir. Evklid masofasining kvadratidan
hisoblanganligi sababli, bu har doim ijobiy qiymat bo'lib, xato nolga
yaqinlashganda kamayadi.
19](https://docx.uz/documents/5402fecd-95cd-4b80-80cb-d2bda0d7e464/page_18.png?v=1)
![Qachon foydalanish kerak?
Regressiyani amalga oshirayotganda MSE dan foydalaning, sizning
maqsadingiz, kiritilgan ma'lumotlarga asoslanib, odatda taqsimlanadi va katta
xatolar kichik xatolarga qaraganda sezilarli (kvadrat jihatdan) ko'proq jazolanishini
xohlaydi.
Misol: Siz kelajakdagi uy narxlarini taxmin qilmoqchisiz. Narx doimiy
qiymatdir, shuning uchun biz regressiya qilishni xohlaymiz. MSE bu erda yo'qotish
funktsiyasi sifatida ishlatilishi mumkin.
Misollar
1) Python yordamida MSE ni hisoblash
Asl maqsadli ma'lumotlar y bilan belgilanadi va taxmin qilingan yorliq
( bilan belgilanadi Y) Bu modelni baholash uchun asosiy manbalardir.
import math
import numpy as np
import matplotlib.pyplot as plt
y = np.array([-3, -1, -2, 1, -1, 1, 2, 1, 3, 4, 3, 5])
yhat = np.array([-2, 1, -1, 0, -1, 1, 2, 2, 3, 3, 3, 5])
x = list(range(len(y)))
#We can visualize them in a plot to check the difference visually.
plt.figure(figsize=(9, 5))
plt.scatter(x, y, color="red", label="original")
plt.plot(x, yhat, color="green", label="predicted")
plt.legend()
plt.show()
20](https://docx.uz/documents/5402fecd-95cd-4b80-80cb-d2bda0d7e464/page_19.png?v=1)
![# calculate MSE
d = y - yhat
mse_f = np.mean(d**2)
print("Mean square error:",mse_f)
Mean square error: 0.75
# calculate MAE
mae_f = np.mean(abs(d))
print("Mean absolute error:",mae_f)
Mean absolute error: 0.5833333333333334
2) MSE hisoblanadi
from sklearn.metrics import mean_squared_error
# Given values
Y_true = [1,1,2,2,4] # Y_true = Y (original values)
# calculated values
Y_pred = [0.6,1.29,1.99,2.69,3.4] # Y_pred = Y'
# Calculation of Mean Squared Error (MSE)
mean_squared_error(Y_true,Y_pred)
21](https://docx.uz/documents/5402fecd-95cd-4b80-80cb-d2bda0d7e464/page_20.png?v=1)
![Output: 0.21606
3) Numpy moduli yordamida
import numpy as np
# Given values
Y_true = [1,1,2,2,4] # Y_true = Y (original values)
# Calculated values
Y_pred = [0.6,1.29,1.99,2.69,3.4] # Y_pred = Y'
# Mean Squared Error
MSE = np.square(np.subtract(Y_true,Y_pred)).mean()
Output: 0.21606
4)
>>> from sklearn.metrics import mean_squared_error
>>> y_true = [3, -0.5, 2, 7]
>>> y_pred = [2.5, 0.0, 2, 8]
>>> mean_squared_error(y_true, y_pred)
0.375
>>> y_true = [3, -0.5, 2, 7]
>>> y_pred = [2.5, 0.0, 2, 8]
>>> mean_squared_error(y_true, y_pred, squared=False)
0.612...
>>> y_true = [[0.5, 1],[-1, 1],[7, -6]]
>>> y_pred = [[0, 2],[-1, 2],[8, -5]]
>>> mean_squared_error(y_true, y_pred)
0.708...
>>> mean_squared_error(y_true, y_pred, squared=False)
0.822...
>>> mean_squared_error(y_true, y_pred, multioutput='raw_values')
array([0.41666667, 1. ])
22](https://docx.uz/documents/5402fecd-95cd-4b80-80cb-d2bda0d7e464/page_21.png?v=1)
![>>> mean_squared_error(y_true, y_pred, multioutput 9
=[0.3, 0.7])
JAVOB: 0.825...
Xatoliklarni teskari tarqalish usuli
NT tuli strukturalari orasida ancha kо‘zga tashlanadigani kо‘p qatlamli
strukturadir, unda har bir istalgan qatlamdagi neyron о‘zidan oldingi qatlamdagi
barcha neyronlarning aksonlari bilan bog‘langan yoki, birinchi qatlam halatida esa
NT barcha kirishlari bilan bog‘langan. Bunday NT tо‘liq bog‘langan deb
nomlanadi. Agar neyron tо‘ri bitta qatlamdan iborat bо‘lsa, NT о‘qituvchi bilan
о‘qitish algoritmi ancha oddiy, chunki birgina qatlamdagi neyronlarning
chiqishining tо‘g‘ri holatlari oldindan ma’lum va sinaptik bog‘lanishlarni sozlash
NT chiqishidagi xatoliklarni minimallashtirishga yо‘naltirilgan bо‘ladi. Bu prinsip
asosida, masalan, bir qatlamli perseptronni о‘qitish algoritmi quriladi. Kо‘p
qatlamli NT esa barcha qatlamlardagi neyronlarning optimal chiqish qiymatlari,
oxirgi qatlamdan tashqari, qoida bо‘yicha, aniq emas, va ikki yoki undan kо‘p
qatlamli perseptronni о‘qitish imkoniyati yо‘q, faqat NT chiqishidagi xatolik
miqdori bilan cheklanadi.
Bu muammoni yechishning birdan bir varianti – chiqish signallarini
tо‘plamini ishlab chiqish, NT har bir qatlami uchun kirishlariga mos keladigan, bu
oxir oqibatda juda murakkab va qiyin amal hisoblanadi va har doim ham amalga
oshirish imkoniyati yuq. Ikkeinchi variant – sinapslarning vazn koeffitsiyentlarini
dinamik tarzda sozlash, bunday sozlash jarayonida, qoidaga binoan, ancha kuchsiz
bо‘lgan bog‘lanishlar ancha kichkina miqdorga о‘zgartiriladi oshirish yoki
kamaytirish tomoniga, NT chiqishidagi xatoliklarni kamaytirishga olib kelgan
о‘zgartirishlargina eslab qolinadi. Kо‘rinib turibdiki, bu “metod tika”, oddiy bо‘lib
kо‘ringan bо‘lsada juda kо‘p miqdordagi murakkab hisoblashlarni talab qiladi.
Uchinchi ancha mos keladigan variant – signal xatoligini NT chiqishidan
uning kirishiga qarab tarqalishi, oddiy ish rejimida signalni tо‘g‘ri tarqalishiga
teskari yо‘nalishda. NT о‘qitishning bu algoritmi teskari tarqalish protsedurasi deb
9
https://scikit-learn.org/stable/modules/generated/sklearn.metrics.mean_squared_error.html
23](https://docx.uz/documents/5402fecd-95cd-4b80-80cb-d2bda0d7e464/page_22.png?v=1)
![ko rishingiz mumkin.ʻ
TensorFlow 2 va Keras-da Huber yo'qolishi modelingizning kompilyatsiya
bosqichiga qo'shilishi mumkin.
____________________________________________________________
model.compile(loss=tensorflow.keras.losses.Huber(delta=1.5),
optimizer='adam', metrics=['mean_absolute_error'])
____________________________________________________________
Huber Loss-dan qachon foydalanish kerak?
Huber yo'qotish MAE va MSEga ega. Shunday qilib, biz yuqoriroq og'irlikni
cheklovchilarga bermaslik kerak deb o'ylaganimizda, yo'qotish funksiyangizni
Huber yo'qotish sifatida belgilang. Biz ( ?????? ) delta qiymatini qo‘lda aniqlashimiz
kerak. Odatda, to g ri delta qiymatini topish uchun foydalaniladigan tegishli
ʻ ʻ
algoritm bilan ba zi iteratsiyalar kerak bo ladi.
ʼ ʻ
28](https://docx.uz/documents/5402fecd-95cd-4b80-80cb-d2bda0d7e464/page_27.png?v=1)
XATOLIK FUNKSIYALARI. O'RTACHA KVADRATIK XATOLIK FUNKSIYASI.