Kompyuterda matnlarni qayta ishlash tizimlari - Информатика и ИТ - Рефераты

Информация о документе

Цена	2000UZS
Размер	35.3KB
Покупки	0
Дата загрузки	07 Ноябрь 2026
Расширение	docx
Раздел	Рефераты
Предмет	Информатика и ИТ

Kompyuterda matnlarni qayta ishlash tizimlari

Купить

KOMPY UTERDA M ATN LA RN I QA Y TA ISHLA SH TIZIMLA RI
Reja:
1. Kompyuter analizi va sintezi.
2. Tarjima algaritmi.

Matnning formal ajraladigan eng kichik birligi so‘z hisoblanadi,
lekin u ma’no anglatuvchi eng kichik birlik morfemalardan tashkil
topadi. So‘z tarki bi o‘zak morfemalar, prefikslar (old
qo‘shimchalar) va suffikslar (o‘zakdan keyin qo‘shimchalar)dan
iborat bo‘ladi. Masalan, besabrlikdandir so‘zida 5 morfema mavjud.
So‘zlarning morfologik analizi uchun tildagi prefiks va suffikslar
bazasi hamda so‘zlarning grammatik shakllarda o‘zgarishi (qan day
qo‘shimchalarni qabul qilishi)ni ko‘rsatuvchi lingvistik ta’min
yarati- lishi lozim. Bunday baza avtomatik tarjima tizimi yaratilgan
rus, ingliz, fransuz tillarida yaratilgan. Shulardan birini (rus tili
grammatikasi asosida- gi) berib o‘tmoqchimiz. 1
14-jadval
№
л/п Слово-представи тель Ок ончани я:
1. им .п., ед.ч.
2. тв.п., ед.ч.
3. им .п.,
м н.ч.
4. род.п.,
м н.ч. При м ечани е
Су щ естви тельны е м у ж ск ого рода неоду ш евленны е
1 Белоногов Г.Г. Компьютерная лингвистика и перспективные информационные технологии. - М.:
Русский мир, 2004. - С.68 - 90.

001 телефон +*), ом, ы, ов
002 тираж +, ом, и, ей
003 огонь ь, ем, и, ей См. п. 012
004 перебой й, ем, и, ев См. п. 005
005 санаторий й, ем, и, ев Основы на букву
«и»
006 бланк +, ом, и, ов
007 сапог +, ом, и, +
010 лес +, ом, а, ов
011 колодец +, ем, ы, ев
012 путь (класс состоит из
одного слова)
013 край й, ем, я, ев
014 брус +, ом, я, ев
015 глаз +, ом, а, +
016 зародыш +, ем, и, ей
017 волос +, ом, ы, +
020 лагерь ь, ем, я, ей
Су щ естви тельны е м у ж ск ого рода оду ш евленны е
021 кузнец +, ом, ы, ов
022 солдат +, ом, ы, +
023 сосед +, ом, и, ей См. п. 024
024 врач +, ом, и, ей Основы на ж, ч, ш,
щ

025 пролетарий й, ем, и, ев
026 воробей ей, ем, и, ев
027 конь ь, ем, и, ей
030 учитель ь, ем, я, ей
031 сапожник +, ом, и, ов
032 испанец +, ем, ы, ев
033 юноша а, ей, и, ей
034 мужчина а, ой, ы, +
035 судья я, ей, и, ей
036 товарищ +, ем, и, ей
037 гражданин +, ом, е, +
040 профессор +, ом, а, ов
041 муж +, ем, я, ей
042 Иванов +, ым, ы, ых
043 сын +, ом, я, ей
Су щ естви тельны е ж енск ого рода оду ш евленны е
044 женщина а, ой,ы, +
045 переводчица а, ей, ы, +
046 нутрия я, ей, и, й Основы на букву
«и»
047 швея я, ей, и , й см. п. 046
050 цапля я, ей, и, ь
051 санитарка а, ой, и, +
052 мышь ь, ю, и, ей

053 Иванова а, ой, ы, ых
Су щ естви тельны е ж енск ого рода неоду ш евленны е
054 речь ь, ю, и, ей Основы на ж, ч, ш,
щ
055 грань ь, ю, и, ей см. п. 054
056 колба а, ой, ы, +
057 задача а, ей, и, +
060 заготовка а, ой, и, +
061 линия я, ей, и, й Основы на букву
«и»
062 галерея я, ей, и, й см. п. 061
063 земля я, ей, и, ь
064 эскадрилья я, ей, и, ий
065 статья я, ей, и , ей
066 башня я, ей, и, +
067 улица а, ей,ы, +
Су щ естви тельны е среднего рода
070 место о, ом, а, +
071 облако о, ом, а, ов
072 поле е, ем, я, ей
073 сомнение е, ем, я, и
074 жилище е, ем, а, +
075 перо о, ом, я, ев
076 время я, ем, а, +

077 побережье е, ем, я, ий
100 колено о, ом, и, ей
101 очко о, ом, и, ов
102 ружье е, ем, я, ей
*) Символ + обозначает нулевое окончание.
Прил агате л ьны е
№ п/п Слово-
представи тель Ок ончани я:
1) им . п., м у ж . р.,
ед.ч.,
2) им . п., ж ен. р.,
ед.ч.,
3) род. п., м у ж . р.,
ед.ч.,
4) и м . п., м н.ч. При м ечани
е
103 главный ый, ая, ого, ые
104 передний ий, яя, его, ие
105 хороший ий, ая, его, ие
106 легкий ий, ая, ого, ие
107 годовой ой, ая, ого, ые
110 плохой ой, ая, ого, ие
111 третий ий, я, его, и
112 этот, сам +, а, ого, и

113 мои, твои, свои и, я, его, и
114 наш,ваш +, а, его, и
115 весь ь, я, его, е
Глаголы в личной форме
№ п/п Слово-
представи тель Ок ончани я 1,2 и
3-го ли ца ед. ч. и
3-го ли ца м н. ч. При м ечан
и е
116 делать ю, ешь, ет, ют
117 строить ю, ишь, ит, ят
120 писать у, ешь, ет, ут
121 стучать у, ишь, ит, ат
122 бежать у, ишь, ит, ут
123 хотеть у, ешь, ет, ят
124 зависеть у, ишь, ит, ят
Morfologik analiz morfemalarga ajratish hamda grammatik
ma’lumotlar tahlilini o‘z ichiga oladi. Morfologik sintez esa matnga
avtomatik ishlov berish jarayonida yoki uning so‘nggi bosqichida
(natijalarni inson hukmiga havola qilishda) so‘zlarning turli
shakllarini chiqarish, analiz natijalarini umumlashtirishdan iborat.
Morfologik analiz va sintez jarayoni kompyuter- da kodlash-
dekodlash tamoyili asosida ishlaydi. Bunda so‘z turkumlari maxsus
kodlar yordamida belgilanadi. Quyidagi jadvalda RETRANS (ing-
lizcha-ruscha, ruscha-inglizcha frazeologik mashina tarjimasi

tizimi) av tomatik tarjima tizimida morfologik analiz jarayonida
foydalaniladigan inglizcha so‘zlarning grammatik tasnifmi berib
o‘tamiz:
15-jadval
Inglizcha so‘zlarning grammat ik t asnifi
Су щ естви тельны е
11 Собственно существительные
12 Местоименные существительные
13 Количественные числительные
14 Отглагольные существительные
При лагательны е
21 Собственно прилагательные
22 Местоименные прилагательные
23 Порядковые числительные
24 Отглагольные прилагательные
Глаголы
31 Вспомогательные глаголы
32 Глаголы настоящего времени, инфинитив
33 Глаголы прошедшего времени
34 Модальные глаголы
Наречи я
41 Собственно наречия
42 Местоименные наречия
43 Наречия сравнительной степени, прилагательные
сравнительной степени

44 Отглагольные наречия (инговая форма)
Предлоги
51 Предлог of
52 Остальные предлоги
Сою зы
61 Сочинительные союзы
62 Подчинительные союзы
А рти к ли
71 Определенный артикль
72 Неопределенный артикль
Частицы
81 Частица to
82 Частицы not и по
83 Остальные частицы
Ushbu jadvalda «1» simvoli otlarni, «2» simvoli sifatlarni, «3»
simvoli fe’llarni, «4» simvoli ravishlarni, «5» simvoli predloglarni,
«6» simvoli bogiovchilarni, «7» simvoli artiklni, «8» simvoli
yuklamalarni bildiradi. Morfologik analiz jarayonida ushbu
simvollar orqali so‘zlar kodlanadi. Masalan, inglizcha matn
fragmentining RETRANS avtomatik tarjima tizi mida morfologik
analiz namunasiga e’tibor beraylik.
Inglizcha mat n fragment ining morfologik analiz namunasi
Language 0/11 engineering 0/11 is 0/31 the 0/71 core 0/11 of
0/51 information 0/11 technology 1/11 and 0/61 information 0/11

technology 1/ 11 will 0/31 be 0/31 the 0/71 key 0/1121 industry
1/11 of 0/51 the 0/71 next 0/21 decades 1/11 .
Bu yerda ayrim so‘zlar grammatik omonimiyaning hisobiga
dastlab («tahlil natijalari»da) ikki xil raqam bilan berilgan, so‘nggi
bosqichda ular ning kontekstdagi holatidan kelib chiqib aniq
tasnifi keltiriladi. Yuqoridagi matn fragmentida shunday so‘zlar
sirasiga «state» so‘zini misol qilish mumkin. «State» so‘zi dastlabki
tahlilda 0/1132 kodi orqali beriladi, bunda «0» raqami so‘zda
qo‘shimchaning yo‘qligini (nol morfemani), «11» raqami ot so‘z
turkumini, «32» raqami esa hozirgi zamon shaklidagi fe’l yoki
infini- tivni bildiradi. Bunga o‘xshash yana bir so‘z «wished»
so‘zining dastlabki tahlilida bir qiymatli bo‘lmagan ma’lumotlarga
ega bo‘lamiz. «Wished» so‘zi 0/2433 kodi bilan beriladi, bunda «0»
raqami yuqoridagidek nol mor femani, «24» fe’l asosida hosil
bo‘lgan sifat turkumini, «33» o‘tgan zamon shaklidagi fe’lni
anglatadi.
So‘zlarning qaysi turkumga mansubligini aniqlashda chappa
(ters) lug‘atlardan foydalaniladi. Bunga turli xil turkumga mansub
so‘zlarning morfologik analizini ko‘rsatuvchi inglizcha so‘z
shakllarining grammatik chappa lug‘ati yaqqol misol bo‘la oladi.
Morfologik analizning mantiqiy davomi sintaktik analiz
hisoblanadi. Sintaktik analiz morfologik analiz ustiga quriladi.
Bunda sintaktik analiz turli xil modellar asosida amalga oshirilishi
mumkin. Formal grammatika asoschisi bo‘lgan Noam Chomskiy

belgilagan algoritm o‘zining optimalligi bilan boshqa sintaktik
modellardan ajralib turadi. Matnning avtomatik sin taktik analizi
masalasi XX asrning 50-yillarida bir tildan boshqa tilga komp yuter
yordamida tarjimani amalga oshiruvchi tizimlarga oid tadqiqotlar
bilan uzviylikda o‘rganilgan. Zero, matn tarjimasida gaplarning
sintaktik strukturasi, sintaktik aloqasi hal qiluvchi ahamiyat kasb
etadi. Dastlabki sintaktik analiz protseduralari ancha cheklangan
boiib, unda faqat gap- ning strukturasi analizi e’tiborga olingan,
bunda har qanday gap so‘zlarning muayyan ketma-ketligi asosida
tashkil topgan qurilma sifatida baholangan. Gap strukturasining
formallashgan modeli sifatida, odatda, tobelik daraxti (sentence
tree)dan foydalanilgan. 2
Shuni alohida ta’kidlash zarurki, sintak tik
analizning samaradorligi hozirgi kunda juda yuqori saviyada, ular
faqat avtomatik tarjima sistemasi ishlab chiqilgan tillarda
maksimal darajada ishlatilmoqda. Lekin haligacha gapning
to‘laqonli semantik analizi yuza- sidan sezilarli natijalarga
erishilgani yo‘q. Bu muammo kompyuter lingvis- tikasidagi ko‘plab
muammolar bilan tutashib ketadi. Jumladan, inson tafak- kurini
modellashtirish, sun’iy intellekt tizimi, semantik freym, Word-net
kabilar. Agar sanab o‘tilgan muammolar o‘z yechimini topsa,
semantik va konseptual analizning avtomatik tizimi ham to‘laqonli
ishlaydi.
Kompyuterdagi avtomatik tarjima kompyuter lingvistikasining
2 1,6
Jurafsky D., Martin J.H. Speech and Language Processing. - New Jersey, 2000.-P.353.

eng za- monaviy yo‘nalishlaridan biri hisoblanadi. Hozirgi kunda
dunyoda keng tarqalgan jahon tillari uchun avtomatik tarjima
dasturlari ishlab chiqilgan. Jumladan, ruschadan inglizchaga,
inglizchadan ruschaga, ruschdan fran- suzchaga yoki aksi tarzida
dasturlar yaratilgan. Bunday dasturlar sirasiga SOCRAT, PROMPT,
MAGIC GOODDY kabilar kiradi. Ular 2 xil ta’minotga asoslanib
ishlaydi: 1) lingvistik ta’minot - bunda mavjud tillarning umumiy
leksikoni kiritiladi, uning grammatikasi joylashtiriladi, bir so‘z bilan
aytganda, maiumotlar bazasi yaratiladi; 2) programmaviy ta’minot
- bunda bir tildan ikkinchi tilga tarjima qilish algoritmi va
kompyuter ana lizi ishlab chiqiladi (maxsus programmalashtirilgan
tillar yordamida).
A v t omat ik t arjimaning ishlash algorit mi quy idagicha
bo‘ladi :
1. Boshlanish - dasturlar paneli va menyu satri ko‘rinadi.
2. Ishlash rejimi tanlanadi (tarjimaning yo‘nalishi - inglizchadan
rus chaga yoki ruschadan inglizchaga).
3. Jumla kiritiladi va xotiradagi kodi qidirib topiladi.
4. Topilgan kod maxsus dasturlar yordamida qayta ishlanadi va
tarjima oynada paydo boiadi.
5. Joriy rejimda ishlashni davom ettirish haqida so‘raladi.
6. Dasturni yopish haqida savol so‘raladi.
7. Dastur yopiladi.

Avtomatik tarjimada samaradorlikning yuqori bo‘lishiga tabiiy
tillar- ning ayrim jihatlari - polisemiya (ko‘p ma’nolilik), omonimlik,
frazeolo- gizmlar, idiomalar, paremalar, troplar to‘sqinlik qiladi.
Shularni istisno qilganda, hozirda avtomatik tarjima yo‘nalishida
yuqori samaradorlikka erishilgan. Hatto hozirda faqat avtomatik
tarjima yo‘nalishiga bag‘ishlangan saytlar ham yaratilgan. Bu
avtomatik tarjimaning keng qamrovda taraqqiy etayotgan
sohalardan ekanligini ko‘rsatib turibdi.
Hozirgi kunda inglizcha-o‘zbekcha va o‘zbekcha-inglizcha
kompyuter tarjimasi dasturlari juda katta ahamiyatga ega.
Ma’lumki, ingliz va o‘zbek tillari leksik-grammatik xususiyatlariga
ko‘ra bir-biridan tubdan farq qila di. O‘zbek tilida gap qurilishi SOV
(ega+to‘ld+kes) qolipida bo‘lsa, ingliz tilida SVO (ega+kes+to‘ld)
qolipidadir; o‘zbek tili agglutinativ tillar sirasi- ga kiradi, ingliz tili
esa flektiv til hisoblanadi. Shuning uchun ingliz tilidan o‘zbekchaga
va o‘zbekchadan inglizchaga kompyuter tarjimasini yaratish o‘ziga
xos qiyinchliklarni keltirib chiqaradi. Bugungi kunda rus tili
vositasida ingliz tilidan o‘zbek tiliga avtomatik tarjima qiluvchi
dasturlarning ver- siyalari e’lon qilingan.
Ammo biz taklif qilayotgan ingliz tilidan o‘zbek tiliga kompyuterda
tar jima qilish dasturi vositachi tilsiz amalga oshiriladi. Ta’kidlash
lozimki, mazkur ish gaplarning sintaktik analiz qilish algoritmlari
va formal model- lari bazasi asosida amalga oshiriladi.
Ingliz tilidan o‘zbek tiliga kompyuterda tarjima qilish algoritmi

quyidagi vazifalarni hal etish uchun mo‘ljallangan:
1.1. Analiz - bunda ingliz tilidagi gap quyidagi soddalashtirilgan
model ramkasida sintaktik tahlil qilinadi.
1. Ushbu model faqat sodda gaplarni qamrab oladi.
2) Gapning har bir bo‘lagi bitta so‘zdan iborat bo‘ladi.
3) Gaplarda aniqlovchilar bo‘lmaydi.
4) Gaplarning standart tiplari ko‘rib chiqiladi (darak gap
(ega+kes+to‘ld+hol), so‘roq, inkor va so‘roq-inkor gaplar).
5) Fe’lning quyidagi tuslanishli shakllarini qamrab oluvchi
kesimli gap lar ko‘rib chiqiladi:
a) shaxs (1,11, III shaxs);
b) son (birlik va ko‘plik);
v) zamon (o‘tgan, hozirgi, kelasi);
g) harakat tipiga ko‘ra (Simple)
d) maylga ko‘ra (Indicative)
e) nisbatga ko‘ra (Active)
II. Tarjimada gaplar ingliz tilidan o‘zbek tiliga o‘giriladi.
Algorit m quy idagi bosqichlardan t ashk il t opadi:
1) gap kiritiladi;
2) gapning har bir so‘zi massivining elementlariga qo‘shiladi;
3) massivining elementlari yordamida lug‘at elementlari bilan
taqqos- lanadi, bu lug‘atda olmosh, ko‘makchilar, ko‘makchi va
modal fe’llar, ar- tikllar va noto‘g‘ri fe’llar ro‘yxati mavjud bo‘ladi;
4) agar so‘zlar yordamchi lug‘atda topilmasa, unda taqqoslash

maxsus lug‘at yordamida davom ettiriladi;
5) topilgan so‘zlar yordamchi lug‘atga beriladi, bu yerda so‘zga
ushbu so‘zni va uning tarjimasini saqlovchi kod beriladi;
6) bunday so‘z lug‘atlarda mavjud boMmasa, so‘z shakl yasovchi
affiks- lardan ajratib olinadi va 5-ish bajariladi;
7) agar so‘zlar yordamchi va maxsus lug‘atlardan topilmasa,
ushbu so‘zning yo‘qligi haqida ma’lumot kiritiladi;
8) gap 2 guruhga bo‘linadi: kesimgacha bo‘lgan so‘zlar ega
guruhiga kiradi (ega guruhiga ega);
9) kesimdan boshlanib gapning oxirigacha bolgan so‘zlar kesim
guruhi hisoblanadi (kesim guruhiga: kesim, to‘ldiruvchi, hoi);
10) kesim guruhidan kesim ajratib olinadi;
11) so‘ngra to‘ldiruvchi ajratiladi;
12) gapning qolgan qismi hoi hisoblanadi;
13) gapning har bir bo‘lagi shakl yasovchi qo‘shimchalarsiz
tarjima qili- nadi;
14) tarjima qilingan gap boiaklaridan o‘zbek tilidagi gap
tuziladi, u al- batta ingliz tilidagi gap konstruksiyasiga mutanosib
bo‘ladi;
15) o‘zbek tilidagi so‘zlarga ingliz tilidagi so‘zlarga mutanosib
ravishda affiks va qo‘shimchalar qo‘yib chiqiladi;
16) tarjima chiqarib beriladi («tarjima» rejimida);
17) analiz chiqarib beriladi («analiz» rejimida).
Ingliz t ilidagi gaplar k onst ruk siy asining sxemalari

Avvalo belgilarni kiritib olamiz:
1.1. ega, (e)-ega
2.2. kes, (k)-kesim
3.3. to‘ld, (t)-to‘ldiruvchi
4.4. aniq, (a)-aniqlovchi
5.5. hol, (h)-hol
6.6. Gram.f.-(ko‘makchi, modal fe’llar va fe’l-bog‘lama).
q + gram.f. + k
7.7. k -grammatik fe’lsiz kesim
8.8. m -to‘ldiruvchining yo‘q bo‘lishi
9.9. h -holning yo‘q bo‘lishi
10.10. e’-aniqlovchli ega
11.11. k’-aniqlovchili kesim
12.12. m ’-aniqlovchili to‘ldiruvchi
13.13. h’-aniqlovchili hol
14.14. b- q -bog‘lanmagan qo‘shma gap
15.15. s-maxsus so‘roq so‘zlar
16.16. A - IF
17.17. AI - B -agar A gap bo‘lsa, u holda B ham gap.
Ingliz t ilidagi gaplarning asosiy k onst ruk siy alari ro‘y xat ini
k elt iramiz:
1) Ega + kes + to‘ld. + hol (kengaytirilgan darka gap) Students
bought books yesterdoy .
2) Ega + kesim (kengaytirilmagan gap) It is good .

3) Ega + gram.f. + hol + k + to‘ld. + hol(inkor gap) Students did buy
books yesterday.
4) Aniq + ega + kes + to‘ld + aniq + hol (aniqlovchili gap) The blue car
stopped at the big gote.
5) Gram.f + ega + k’ + to‘ld + hol (umumiy so‘roq gap) Has he been
working since morning?
6) So‘roq so‘z + gram.f. + ega + k + to‘ld + hol (maxsus so‘roq gap)
Why are you sitting here?
Xuddi shu qolipda rus va o‘zbek tillaridagi gap konstruksiyalarini
tuzish mumkin.

Adabiy ot lar:
1. Grishman R. Computational Linguistics // Cambridge
University Press. 1994.
2. Шемакин Ю.И. Начало компьютерной лингвистики. - М.:
МГОУ, 1992.
3. Good J. Linguistic Universals and Language Change // Oxford
Uni versity Press. 2008.
4. Gelbukh A. Computational Linguistics and Intelligent Text
Process ing. International Conference. - Mexico, 2003.
5. П ў латов А.К., Муҳамедова С. Компьютер лингвистикаси
(ўқув қўлланма). - Тошкент, 2008
6. Пўлатов А. Компьютер лингвистикаси. - Тошкент:
Академнашр, 2011.
7. Rahimov A. Kompyuter lingvistikasi asoslari . – Toshkent :
Akademnashr , 2011 .

Kompyuterda matnlarni qayta ishlash tizimlari

Купить

Похожие документы
3d-max dasturida obektlarni yaratish
Algoritm va ma’lumotlar strukturasi
3D-MAX dasturi haqida
3D Studio MAX dasturiga kirish. 3D Studio MAX dasturi haqida tushuncha
Adobe photoshop dasturida tasvirlarda ishlov berish,taqdimot yaratish