Morfologik tahlilning avtomatik tizimi - Педагогика - Рефераты

Информация о документе

Цена	2000UZS
Размер	270.5KB
Покупки	0
Дата загрузки	07 Ноябрь 2026
Расширение	docx
Раздел	Рефераты
Предмет	Педагогика

Morfologik tahlilning avtomatik tizimi

Купить

MORFOL OGI K TA HL I L N I N G A V TOMA TI K TI ZI MI
Реж а :
1. O‘zbek morfologiyasini modellashtirish.
2. Morfemalarni birikish mexanizmini tavsiflash.
3. Affikslarni guruhlarga bo‘lish yo‘llari va modellari.
4. So‘z yasalish jarayonini modellashtirish

O‘zbek morfologiyasining qoidalarini kompyuter
modellashtirish usullari va vositalarini tadqiq etish va so‘zlarni
morfologik sintez qilishga mo‘ljallangan programmalar majmuini
o‘rganishdan iborat.
So‘zlarning avtomatik morfologik aniliz va sintez ularni turli
shakllarini aniqlash, leksik-grammatik axbarotlar yig‘ish hamda
so‘z tuzilishining to‘g‘ri va noto‘g‘ri ekanligini kompyuter
yordamida aniqlash maqsadida bajariladi.
Bajarilagan masalalar quyidagilardan iborat:
1) tabiiy til mantlarini modellashtirish usullari va vositalarini
o‘rganish;
2) o‘zbek tili morfologiyasi qoidalarining formal tavsifini berish;
3) ismni anglatuvchi so‘zlarni morfologik sintez qilish
algoritmlari bilan tanishamiz;
4) algoritmni kompyuterda amalga oshirish programmalari
majmuasini o‘rganish.
O‘zbek t ili morfologiy asining ba’zi umumiy masalalari.
Boshlang‘ich t ushunchalar.
Morfema (o‘zak yoki affiks) – bu minimal til birligi bo‘lib, u
biron ma’noni anglatuvchi va boshqa soddaroq qismlarga
bo‘linmaydigan minimal til birligidir.

So‘z shak li – morfemalarning til qoidalari tizimi va meyorlar
asosida tuzilgan va tartiblangan ketma-ketligidir. Ko‘pgina turkiy
tillarda so‘z shakllari singarmonik xususiyatga ega.
O‘zak – so‘zning o‘zgarmas qismi bo‘lib, uning barcha
shakllarida qatnashadi.
Turkiy tillarda majburiy yoki fakultativ turga bo‘linadi. So‘z
shakllarining minimal modeli uchun majburiy affikslarning ishtirok
etishi zaruriy shartdir. Masalan, ismni anglatuvchi barcha o‘zbek
so‘zlari son va kelishik kategoriyasini bildiruvchi affikslarni o‘z
ichiga oladi. Fakultativ affikslar yordamida shakl yoki so‘z yasash
munosabatlari ifodalanadi.
Affikslar so‘z yoki so‘z shakllarida bir necha xil singarmonik
variantlarda (allamorflar) ifodalanishi mumkin. Allamorflar soni
turli tillar uchun turlicha. U tilning qanday darajasida singarmonik
regulyarligidan bog‘liq holda birmuncha katta chegaralar orasida
o‘zgarishi mumkin. Singarmonika keng tarqalgan tillar
affikslarning ko‘p sondagi allamorflariga ega. Bunday tillarga
oltoy, boshqird, tuva, yaqut va shu kabi tillarni misol qiib
ko‘rsatishg mumkin. Ba’zi tillarda singarmonika kamroq yoyilgan
bo‘lib, ularda affikslarning allamorflari ko‘p emas. O‘zbek va uyg‘ur
tillari shunday tillar safiga kiradi.
Boshlang‘ich ma’lumot lar. Bitiruv ishida quy-ilgan
masalalarni hal qilish uchun o‘zbek tilidv mavjud morfemalar

to‘plamini oshkor shaklda berishimiz zarur. Bu to‘plamga ismni
anglatuvchi so‘zlarda uchraydigan affikslar ro‘yxatini kiritamiz.
1) –chi va –gar affikslari: til+chi, el+chi, +baliq+chi va h.k. yoki
zar+gar, chilan+gar va h.k.
2) –dosh affiksi: zamon+dosh, sir+dosh va h.k.
3) –lik affiksi: tinch+lik, ozod+lik va h.k.
4) –chilik affiksi: dehqon+chilik, xato+chilik va h.k.
5) –dagi affiksi: shahar+dagi, osmon+dagi, uy+dagi va h.k.
6) –day yoki –dek affikslari: darax+dek, oltin+dek va h.k.
7) –li affiksi: aql+li, sir+li, taniq+li, baho+li va h.k.
8) –siz affiksi: aql+siz, baho+siz, tosh+siz va h.k.
9) –niki affiksi: qiz+niki, ota+niki va h.k.
10-11) son kategoriyasi affikslari: birlik (Ø) va 0ko‘plik (–lar).
Masalan,qush+lar, bola+lar, kitob+lar va h.k.
12-19) egalik kategoriyasidagi affikslar: ota+m, ota+ng,
ota+miz, ota+ngiz, ota+si.
20-25) Kelishik kategoriyasidagi affikslar: –ni, –ning,
–ga,/ka,/qa, – da, –dan.
26-33) Shaxs kategoriyasidagi affikslar: ota+man, ota+san,
ota+Ø, ota+miz, ota+siz.
34-35) so‘roq va tasdiq affikslari: ota+mi, ota+Ø.Affikslarning
to‘liq ro‘yxati 1-jadvalda keltirilgan. Hamma affikslar 7 sinfga
(kategoriya) bo‘lingan va sinflarning komlari jadvalning2-ustunida
yozilgan. Bu yerda quyidagi belgilashlar olingan:

1) OZK – o‘zak morfemalar sinfi;
2) SYM – so‘z yasovchi morfemalar sinfi;
3) ITER – iterativ affikslar (ikkilamchi o‘zaklar yasashda takror
ishtirok etishi mumkin bo‘lgan affikslar) sinfi
4) SON – son affikslari sinfi;
5) EGA – egalik affikslari sinfi;
6) KLSH – kelishik affikslari sinfi;
7) SHAXS – shaxs affikslari sinfi;
8) SOR – so‘roq affikslari sinfi;
Birinchi jadvalning 4-ustunida affikslarning allamorflari, 3-
ustunda esa ularning kodlari yozilgan. O‘zbek tilida (boshqa
tillarda ham)o‘zak morfemalar sinfining katta hajmi juda katta va
shuning uchun ularning to‘liq ro‘yxatini berish amalda mumkin
emas. Lekin, biz so‘z o‘zaklari ilgaridan aniqlangan deb
hisoblaymiz va bitiruv ishida quyilgan masalalarni hal qilish uchun
o‘zaklarning chekli ro‘yxatini keltiramiz.
O‘zbek morfologisini modellasht irish. Morfemalarni
birik t irish mexanizmini t av sifl ash
Turkiy so‘zlarni morfemalarning chiziqli tartiblangan ketma-
ketliginidan iborat deb qarash mumkin.
Ammo bunday tasvirlash barcha hollarda o‘rinli deb bo‘lmaydi,
chunki iterativ affikslar deb ataluvchi va bir so‘z tarkibida bir necha
bor uchrashi mumkin bo‘lgan morfemalar chiziqli tartibni buzishi
mumkin. Masalan, uy +Ø+da+gi+lar+imiz+nik i –

{OCH}+{SON }+{ITER}+{SON }+{EGA }+{ITER}
Morfemalarni biriktirish mexanizmini graf shaklida
tasvirlaymiz. Grafning tugunlari morfemalar sinflarini ifodalaydilar
va ular orasida ma’lum bir turdagi munosabatlar mavjud.
(1-rasm)
So‘z y asov chi qo‘shimcha modeli.
Yuqoridagi jadvalda
eng asosiy va faol so‘z
yasovchi qo‘shimchalar
keltirilgan. BundanOZK SON KLSH SON
SYM
ITER EGA SHAXS
Boshlanishh
SYQ jadvalini chaqirish ;
1-elementini s1 ga olish;
s1 ni s satrda uchrash o’rnini
topish(t=pos(s,s1));
i=0;
(i<=jadval
satrlar
soni )va
(t=0)
i-elementini s1 ga olish;
s1 ni s satrda uchrash o’rnini
topish(t=pos(s,s1));
i=i+1;
jadval keyingi elementiga o’tish Yo’q
ha

keyingi qismlarda so‘z yasovchi qo‘shimcha so‘zini SYQ tarzida
ishlatamiz.
Ot yasovchi qo‘shimchalar ichida -chi qo‘shimchasi eng faolidir.
Bu qo‘shimcha shaxsni bildiruvchi otlar yasaydi. Qanday otlarga
qo‘shilganda qanday ma’no ifodalashi keyingi paragrifda to‘la
yoritiladi. Hozir esa bu qo‘shimchalarni berilgan so‘zdan ajratib
olish qism dasturini tahliliga o‘tamiz. Kiritilgan so‘zdan tub o‘zakni
ajratib olganimizdan so‘ng navbatgadi ish agar qo‘shimcha bo‘lsa
uni aniqlashdan iborat.
Masalan , suvchilar so‘zini o‘zak va qo‘shimchalarga ajratsak,
algoritmimiz birinchi suv so‘zini ajratib oladi va suv ni o‘chiradi.
Endi -chilar qoldi, so‘ngra -chi ni ajratadi , keyin -larni.Xullas ot so‘z
turkumiga kiradigan va bazaga kiritilgan so‘zlarni qo‘shimcha va
o‘zaklarga ajratib so‘ngra ularni qo‘shila olish olmasliklarini
aniqlab ,agar qo‘shila olsa ichki ma’nosini chiqaradi.
So‘z yasov chi qo‘shimchalar at ribut lar shajarasi. Biz o‘z
ishimizda SYQ ga ikki taraflama atribut qo‘ydik. Bular chap atribut
va o‘ng atribut. Chap atribut ot o‘zagi atributlari shajarasidan
iborat bo‘lib bu shu SYQ qaysi otlar bilan qo‘shila olishligini
bildiradi. O‘ng atribut esa o‘zak+SYQ ma’no atributidir. Bu haqda
keyingi qismda to‘laroq tanishtiramiz.
Tasdiq 4 : SY Q da chap at ribut – bu SYQ ning qay si o‘zak bilan
bog‘lanishini aniqlay di. b.C t arzida be lgilanadi.Bu y e rda b o‘ng
at ribut , tugash

C – SY Q.
Quyida SYQ atributlari berilgan jadvalni keltiramiz
Hozir asosiy e’tiborni chap
atributlarga qaratamiz.Birinchi
masalan “fanlar nomi”
atributini olsak bu fanlar
nomlari
adabiyot,matematika ,fizika,ximiya kabi fanlar yoziladi.Bularga –
chi qo‘shimchasi qo‘shila olishligini bildiradi.
Tasdiq5: A o‘zak B SY Q bilan bog‘lana oladi, agar P(y .B) yo‘l
P(A .x) yo‘lning qismi bo‘lsa
Quyida o‘zak o‘ng atributi bilan SYQ chap atributlarini
solishtirish algoritmi bilan tanishamiz.
Bu dastur quyidagicha ishlaydi.AtrId ga o‘zak atributi olib
qo‘yilgan. Qo‘shimcha “qo‘shimcha_atribut” jadvalida bir necha
marta kelgani uchun, biz kiritgan qo‘shimcha ham bir necha marta
kelgan (rasm-6 ga qarang). Qo‘shimcha mos kelguncha bu
jadvaldan qidiramiz. Qo‘shimcha mos kelgandan so‘ng chap
atributni AtrId1 ga olamiz.AtrId1 AtrId ga teng bo‘lmasa AtrId ni
shajarasidan ildiz atributgacha tekshiramiz. Agar biror joyga borib
teng bo‘lsa takrorlash tugatiladi. Agar teng bo‘lmasa

“qo‘shimcha_atribut” jadvalida bir satr pastga tushib qidiruv
davom etadi. Agar umuman uchramasa shu kiritgan so‘zimiz o‘zak
va qoshimcha qo‘shilishida xatolik bor yoki bu qo‘shilish hech
qanday ma’no bermaydi.
4.5. O‘zak +so‘z y asov chi qo‘shimcha ma’no shajarasi
(Sint ak t ik asi).
O‘zak va SYQ qo‘shilishi uchun tasdiq 7 da aytilganigek SYQni
chap atributi shajarasi o‘zakning o‘ng atributi shajarasining qismi
bo‘lishi kerak. O‘zakka SYQ qo‘shilgandan so‘ng ozak formasi
saqlangan holda boshqa ma’no kelib chiqadi. Masalan: suv bu
ichimlik, -chi qo‘shimchasini qo‘shgandan so‘ng suvchi bo‘lib
shaxsni ifodalaydigan otga aylanadi. Bu quyidagi jadvalda
keltirilgan.
7 – jadval

Bunda chap atribut haqida yuqoridagi bo‘limda to‘xtalib
o‘tdik. Endiki navbat o‘ng atributga ya’ni qo‘shimcha atribut
ustuniga. Bunda ma’no o‘zak+SYQ ma’nosini beradi. Bunga misol
qilib suvchi so‘zini olsak, bu so‘zni suv+chi ga ajratiladi so‘ngra suv
so‘zining atributi ichimlik, endi -chi ni qidiramiz. -Chi
qo‘shimchasini topgandan so‘ng chap atributini o‘zak atribut bilan
solishtiramiz , mos
kelmasa o‘zak
atributini ustki
atributlarini ham qarab
chiqamiz va yana mos
kelmasa keyingi – chi ni
qidiramiz. Keyingi -chi da chap atribut modda. Suvni atributi
ichimlik<=suyuqlik<=modda demak mos keladigan joyi borligi
tufayli bu o‘zak bilan qo‘shimcha qo‘shila oladi. Qo‘shilgandan
so‘nggi ma’no quyidagicha suv+chi=suv sotuvchi x kabi chiqadi.
Bunda x keyingi ishlarimizda aktivlashtiriladigan parametr. Bu x
ning o‘rnida shaxs so‘zini ishlatsak bo‘ladi. x o‘zini to‘la gapda
aniqlab oladi. Biz hozircha gapni qaramayotganligimiz tufayli
bunga to‘xtalib o‘tirmaymiz. Buni quyidagi formula orqali
ifofalaymiz: <o‘zak >+<SY Q o‘ng at ribut i >+x . Bu formula aslida
Y +<at ribut >+X t arrzida bo‘ladi. Biz qarayotgan bosqichda Y
o‘rnida o‘zak keladi.

Misolda ko‘rgan qadamimizni algoritmini ko‘ramiz:
tugash(i<jadval elementlari
soni)va (jadval
elementi<>QoshAtrId))i=0
SYQ jadvalini chaqirish haAtrId=AtrId1 Boshlanishh
Yo’q
Bunday so’z yo’q
ha
i=i+1
jadval keyingi elmentiga o’tish Yo’q

Adabiy ot lar:
1. П ў латов А.К., Муҳамедова С. Компьютер лингвистикаси
(ўқув қўлланма). - Тошкент, 2008
2. Пўлатов А. Компьютер лингвистикаси. - Тошкент:
Академнашр, 2011.
3. Rahimov A. Kompyuter lingvistikasi asoslari . – Toshkent :
Akademnashr , 2011 .
4. Шемакин Ю.И. Начало компьютерной лингвистики. - М.:
Высшая школа, 1992.
5. Нелюбин Я.Я. Компьютерная лингвистика и машинный
перевод. -М.: ВЦП, 1991.
6. Grishman R. Computational linguistics//Cambridge
University Press, 1994.
7. Новое в зарубежной лингвистике. Вып.24. Компьютерная
лингвистика. - М.: Прогресс, 1989.
8. Jurafsky D., Martin J.H. Speech and Language Processing. -
New Jersey, 2000.

Morfologik tahlilning avtomatik tizimi

Купить

Похожие документы
2001-yil sentabr voqealri va uning xalqaro munosabatlarga
1945-1990-yillarda Buyuk Britaniya
1918-1923 yillarda xalqaro munosabatlar, Versal Vashington siyetemasining tuzilishi
Ahmad al-farg‘oniy
Almashlab ekishni loyihalashtirish va joriy etish