Информация о документе

Цена 40000UZS
Размер 143.0KB
Покупки 0
Дата загрузки 31 Октябрь 2026
Расширение doc
Раздел Курсовые работы
Предмет Лингвистика

Продавец

DocX Seller

Дата регистрации 31 Октябрь 2026

0 Продаж

Korpusda matn tahlili texnologiyalari va mualliflik korpusi

Купить
O‘ZBEKISTON RESPUBLIKASI OLIY TALIM, FAN VA INNOVATSIYALAR VAZIRLIGI O‘ZBEKISTON MILLIY UNIVERSITETI O‘ZBEK FILOLOGIYASI FAKULTETI Kompyuter lingvistikasi va amaliy tilshunoslik kafedrasi “Korpus lingvistikasi” fanidan KURS ISHI MAVZU: Korpusda matn tahlili texnologiyalari va mualliflik korpusi “Kompyuter lingvistikasi” mutaxassisligi I bosqich magistranti - Ilmiy rahbar: -Berilgan sana: ______________Baho: ______________Rahbar imzosi: ______________ Toshkent 2024 1 MUNDARIJA: KIRISH..................................................................................................……......3 I BOB. Korpus lingvistikasi – zamonaviy yo‘nalish sifatida 1.1. Korpus tushunchasi va uning ahamiyati ……............................…….......5 1.2. Matn tahlili ……………..............................................................................9 II BOB. Mualliflik korpusining ahamiyati 2.1. Mualliflik korpusi tushunchasi …...........………………………...…........17 2.2. Mualliflik korpusi taraqqiyoti ………………………..……...….....….....22 2.3. O‘zbek tili milliy korpusi...........................................................................24 XULOSA.....................................................................……................................26 FOYDALANILGAN ADABIYOTLAR RO‘YXATI...........................................................................……......................28 2 Kirish Korpus lingvistika yoki korpus tili fanlari matnlarning tarkibini va ularning tili yoki til o‘qitishida o‘rganiladigan tili yanada yaxshi tushuntirish uchun matnlar to‘plami. Korpuslar, tili, leksikani va grammatikani o‘rganishda yordam beradi. Ushbu fanlar, matnlarning tili va ularning tarixini tahlil qilishda, tili boshqa sohalardagi rivojlanish va o‘zgarishlarini o‘rganishda ham muhim rol o‘ynaydi. Korpus lingvistikаsi mаtnlаrni yig‘ish, tаsniflаsh, аnnotаtsiyаlаsh kаbi vаzifаlаrni bаjаrаdi. Korpus mаshinа uchun tаbiiy tilni tushunish jаrаyonini lingvistik jihаtdаn аniq vа to‘g‘ri ko‘rsаtа olishi bois tаbiiy tilni qаytа ishlаsh (NLP – nаturаl lаnguаge processing) sohаsidа uning o‘rni muhim аhаmiyаtgа egа. Shu bois ilmiy mаnbаlаrdа korpus lingvistikаsi tаbiiy tilni qаytа ishlаsh sohаsining (NLP) bir yo‘nаlishi sifаtidа qаyd etilаdi 1 . Аyrim mа’lumotlаrdа 2 esа kompyuter lingvistikаsi yoki аmаliy lingvistikаning muаyyаn deb qаrаlаdi. Korpus lingvistika, tilning ma'naviy strukturasi va uning ko‘plab matnlari bo‘yicha tahlil qilish uchun tuzilgan ma’lumotlar bazasi, o‘rganuvchilar uchun foydali bo‘lishi mumkin. Bu korpuslar til tahlili, leksikologiya, sintaksis va boshqa lingvistik muammolarni o‘rganishda foydalaniladi. Korpus lingvistikada, o‘zbek tili yoki boshqa tillar bo‘yicha yig‘ilgan so‘z yoki matnlar keng qamrovli ma’lumotlar sifatida ishlatiladi. Korpus lingvistika fani tarixi o‘zbek tilida ta'lim beruvchilarga, o‘quvchilarga yoki umumiy o‘zbek tiliga oid ma’lumotlarni izlash uchun muhimdir. Ushbu so‘zlar yordamida, tilshunoslik fanining tarixiy rivojlanishini o‘rganish, tiling izohlangan so‘zlar va so‘z birliklarini tushuntirish mumkin. Korpus lingvistika fanining tarixi o‘zbek tilida boshlang‘ich tushunchalari XX asrning oxiri va XXI asr boshlarida rivojlanib kelgan. Bu fan tilning matnlarini tahlil qilish, ularning strukturasi va o‘zgarishlari, leksikologiya, sintaksis, fonetika, morfologiya va boshqa ko‘rsatkichlarni o‘rganishga yo‘naltirilgan. O‘zbek tilida 1 Mohamed Zakaria Kurdi. Natural Language Processing and Computational Linguistics: Speech, Morphology and Syntax. – Great Britain, USA: Wiley-ISTE 2016. – P. 12. 2 Jurafskiy D., James H. Martin Speech and language processing. An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, 2007 3 korpus lingvistika fanining taraqqiyoti, tilshunoslik sohasida tadqiqotlar va texnologiyalarni joriy etish orqali olib borilmoqda. Bugungi kundа korpusning imkoniyаtlаri shu dаrаjаgа yetdiki, ushbu sohаdа erishilgаn yutuqlаrdаn nаfаqаt NLP sohаsi yoki kompyuter lingvistikаsi, bаlki tilgа o‘qitishning metodikа vа pedаgogikа sohаlаri, diskurs tаhlil, mаshinа tаrjimаsi vа lingvistikаning o‘nlаb sohаlаri (sotsiolingvistikа, gendershunoslik, psixolingvistikа vа h.k) unumli foydаlаnib, sohаgа doir ijobiy nаtijаlаrgа erishib kelinmoqdа. Shu bilаn birgа Jurаfskiy, Mаrtin, Mаnning, Roаrk, Sproаt kаbi olimlаr nuqtаyi nаzаrichа kompyuter lingvistikаsi mаtnlаr korpusini аnnotаtsiyаlаsh vа uni lingvistik tаhlil qilishdа o‘zining optimаl yechimlаrini turli аlgoritmlаr misolidа tаvsiyа qilаdi 3 . T. Makenire va E. Uilson: “Korpus til modeli sifatida foydalanish uchun aniq til mezonlariga muvofiq tanlangan til bo‘laklari yig‘indisidir” deya ta’kidlashadi. J.Sinkler esa korpusni tilning xilma-xilligini ko‘rsatish, turli ko‘rinishdagi til materiallarini tasniflash maqsadida tanlangan tabiiy holda tuziladigan asl matnlar yig‘indisidir deya e'tirof etgan. Korpusga oid ilk odimlar o‘tgan asrning 60-yillarida tashlandi. Shundan buyon turli maqsad va vazifalarga xoslangan korpuslar yaratilib kelinmoqda. Misol tariqasida Britaniya milliy korpusi1, Amerika milliy korpusi, ingliz tili bank sohasi uchun korpus, rus tili milliy korpusi kabilarni keltirib o‘tamiz, ular nutq turi, matn tili, janri, ixtisoslashuvi, kirish usulidek bir qancha xususiyatlarga ko‘ra farqlanadi. Hozirda har bir til o‘z korpusini yaratish masalasi ustida izlanishda. Kompyuter sohasidagi so‘nggi yillarda erishilayotgan yutuqlar katta hajmli, keng imkoniyatli korpuslarni kashf etilishiga asos bo‘lib kelyapti. Shu o‘rinda savol tug‘ilishi tabiiy: korpus bugungi kunda qanchalik muhim? Korpus lingvistikasiga oid manbalarda ularning ahamiyatliligi haqida so‘z yuritilar ekan, qo‘llanish doirasi kengligiga urg‘u berib o‘tiladi. Haqiqatan ham, korpusdan o‘qituvchi, talaba, tadqiqotchi, adabiyotshunos, 3 Jurafsky, D., and J. H. Martin. 2008. Speech and language processing, 2 nd ed . Upper Saddle River: Prentice Hall.; Manning, C., and H. Schutze. 1999. Foundations of statistical natural language processing. Cambridge: The MIT Press.; Roark, B., and R. Sproat. 2007. Computational approaches to morphology and syntax. Oxford: Oxford University Press.; The Oxford handbook of computational linguistics (edited by Mitkov R.) – Oxford, 2003. – P. 63 4 tarjimon, til o‘rganuvchi, tarixchilar – barchasi birdek foydalana oladi. Xuddi shunday keng auditoriyaga mo‘ljallangan korpus sifatida “Tug‘ro” platformasini ayta olamiz. Platformada so‘z, so‘z-teg, teg qidiruvlari mavjud. So‘z qidiruvida istalgan birlikni yozishimiz mumkin. Izlanayotgan so‘z bazaga kiritilgan bo‘lsa, u grammatik ko‘rsatkichlari bilan namoyon bo‘ladi. Agar foydalanuvchiga so‘zning boshqa bo‘laklar bilan birikuv holati kerak bo‘lsa, KWIC formatiga o‘tkazish kifoya. 4 Kurs ishining maqsadi: Til korpusida tahlil qilishdagi turli metodlarni va tamoyillarni ko’rib chiqish va o’rganish, mualliflik korpusi tamoyillarini qiyoslab o’rganish. Kurs ishining vazifalari: Korpus tushunchasining ahamiyati va unga oid olib borilgan ishlar tavsifi; Korpusda matn tahlil qilishning turli usullari atroflicha o’rnagish; Matnni morfologik, semantik, sintaktik, fonetik va grafematik tahlil qilishning ahamiyati; Mualliflik korpusi taraqqiyoti va xorijda yaratilgan korpuslarning qiyoslanishi; O’zbek tili milliy korpusi rivoji; Kurs ishining obyekti va predmeti: Kurs ishining obyekti sifatida korpusda matn tahlili va mualliflik korpusi olindi. Kurs ishining predmeti korpus lingvistikasining ahamiyati, mualliflik korpusi hisoblanadi. Kurs ishining tuzilishi va tarkibi. Kurs ishi kirish, ikkita bob, beshta paragraph, xulosa va foydalanilgan adabiyotlar ro`yxatidan tashkil topgan. Shu bilan birga milliy korpuslarni yoritib beruvchi qator namunalar ham keltirilgan. 4 Abdurahmanova M., Olimova M. Korpus lingvistikasining ahamiyati //Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti Universiteti “ Kompyuter lingvistikasi: muammolar, yechim, istiqbollar ” Xalqaro ilmiy amaliy konferensiya Vol. 1 №. 01 (2022) http://compling.navoiy-uni.uz/ 29 5 Kurs ishining birinchi bobida korpus tushunchasining ahamiyati, matn tahlili atroflicha yoritilgan. Ikkinchi bobda esa mualliflik korpusi tushunchasi, uning taraqqiyoti hamda o’zbek tili milliy korpusi jarayoni borasida fikr yuritiladi. Shuningdek, kurs ishi mavzusi keng ochib berilib, natijaviy fikrlar xulosa qismidan o’rin egallaydi. I BOB. Korpus lingvistikasi – zamonaviy yo‘nalish sifatida 1.1 Korpus tushunchаsi vа uning аhаmiyаti “Korpus” atamasi lotincha “corpus” so‘zidan olingan bo‘lib, “tana, vujud” degan ma’noni anglatadi. Hozirgi kunda bu tushuncha lingvistik tahlil uchun olingan ma’lum bir til, dialekt yoki tilning boshqa kichik matnlar to‘plamlarini ifodalaydi. Agar bu atamani yanada kengroq tushunishga harakat qilsak, korpus: 1. Har qanday matnni o‘zida ifoda etishi mumkin; 2. Kompyuter matnining asosi bo‘lishi mumkin; 3. Til yoki xilma-xillikni ifodalash uchun namuna sifatida olingan kompyuter matnining cheklangan to‘plami bo‘lishi mumkin (McEnery va Vilson 1996:218) Korpus o‘zaro lingvistik munosabatga ega bo‘lgan turli xil tillarni qamrab oluvchi matnlarning katta namunalarini o‘z ichiga qamrab olishi mumkin. Nazariy jihatdan qaraydigan bo‘lsak “corpus” atamasi quyidagicha ta’riflanishi mumkin: C (capable) O (of) R (representing) P (potentially) U (unlimited) S (selections) of texts, ya’ni, “matnning cheksiz tanlovini ifodalashga qodir potensial kuch”. Korpus kompyuterda foydalanish uchun, tadqiqotlarda va amaliyotda qo‘llash uchun, manba sifatida keltirilayotgan til vakili sifatida, inson tomonidan qayta ishlashga va cheksiz ma’lumotlarni shakllantirish va taqdim etish uchun qulay hisoblanadi (Dash 2005:35). Korpusning asosiy xususiyatlari: 1. Miqdor va hajm: Korpus og‘zaki va yozma ma’lumotlarni o‘z ichiga olgan katta hajmli bo‘lishi kerak. Uning hajmi tarkibiy qismlari, ya’ni, komponentlarininig yig‘indisidir. 2.Sifat: Barcha matnlar yozma va og‘zaki nutqning haqiqiy namunalaridan olinishi kerak. Bu jarayonda 6 tilshunosmuhim vazifani bajaradi. U keltirilgan ma’lumotlar oddiy muloqotdan to‘planganligini tekshirishi kerak. 3. Til vakili sifatida: Korpus turli xil matnlardan ko‘p miqdordagi namunalarni o‘zida jamlagan bo‘lishi kerak. Tildagi xilma-xillikni ifodalash uchun tilning barcha sohalarida teng miqdorda bo‘lishi kerak. 4. Oddiylik. U asosan sodda ko‘rinishdagi oddiy matnlarni o‘z ichiga olishi lozim. Bu shuni anglatadiki, foydalanuvchi hech qanday lingvistik tushuntirishlarsiz izchil va uzluksiz ma’lumot olishini xohlaydi va korpus aynan mana shu ehtiyojni qondirishi zarur. 5. Tenglik. Korpusda ishlatiladigan matnlar hajm va miqdor jihatdan teng bo‘lishi lozim. Biroq, bu masala barcha tilshunoslar tomonidan ham bir xil qabul qilinmaydi va birdek amal qilinmaydi. 6. Qayta ishlash imkoniyati. Zarurat tug‘ilgan holda foydalanuvchilar sanalar, ma’lumotlar, namunalar va havolalarni hech qanday qiyinchiliklarsiz yuklab olishiga imkoniyat yaratilishi kerak. Zamonaviy texnologiyalar bizga kompyuterda korpus yaratish va uni saqlash imkonini beradi, shunda biz istalgan vaqtda kerakli ma’lumotni osongina olishimiz mumkin. 7. Ishonchlilik. Yaratilgan korpus har qanday tekshiruvlardan o‘ta olishi va talabga javob bera olishi kerak. Biz korpusdan hech qanday ikkilanishlarsiz uning ishonchli ekanligini tekshirish uchun foydalanishimiz mumkin. 8. Muntazam rivojlanish. Mavjud korpus doimiy ravishda yangilanishi va to‘ldirib borilishi lozim. Bu vaqt o‘tishi bilan tilda sodir bo‘ladigan lingvistik o‘zgarishlardan va yangiliklardan boxabar bo‘lish imkonini beradi. 9. Hujjatlashtirish. Korpusni tashkil qilgan tarkibiy qismlar haqidagi tegishli hujjatlar matndan alohida saqlanishi lozim. Bunday yondashuv bizga korpusdan foydalanish jarayonida yengillik beradi. Matn janriga ko‘ra korpus shakllari. Nilardi Sekhar Dashning “Korpus lingvistikasi” maqolasida keltirilishicha korpus matnining quyidagicha janrlari mavjud: Yozma korpus: Yozma korpus (masalan, TDIL korpusi) o‘z janriga ko‘ra faqat turli yozma, bosma, nashr etilgan va elektron manbalardan to‘plangan til ma’lumotlarini o‘z ichiga oladi; Nutq korpusi: Nutq korpusi (masalan, Yangi Zelandiyada ingliz tilidagi Vellington korpusi) barcha rasmiy va norasmiy munozaralar, 7 tahlillar, oddiy suhbatlar, dialoglar, monologlar, turli xil suhbatlar, onlayn diktantlarni va ommaga qilingan murojaatlarni o‘z ichiga oladi. Bunday matnlarda ommaviy axborot vositalarining aralashuvi kuzatilmaydi; Og‘zaki korpus: Og‘zaki korpus (masalan, London-Lund ingliz og‘zaki korpusi) nutq korpusining texnik kengayishi, og‘zaki nutq matnlarini o‘z ichiga oladi. Bunday korpusda nutq transkripsiyadan tashqari hech qanday o‘zgarishsiz yozma shaklda ifodalanadi. U fonetik transkripsiya shakli yordamida ifodalanadi. Ma’lumotlar sohasiga ko‘ra korpusning turlari. Umumiy korpus: Umumiy korpus (masalan, Britaniya Milliy Korpusi) turli fanlar, janrlar va mavzu sohalariga tegishli umumiy matnlarni o‘z ichiga oladi. Shakl va foydalilik jihatidan olib qaralsa, u matnlar to‘plamining soni bo‘yicha cheklangan. Bu shuni anglatadiki, matn turlari soni va undagi so‘z va jumlalar soni cheklangan. Biroq vaqt o‘tishi bilan u o‘sib borishi va yangi matnlarmavjudligi bilan yangi ma’lumotlarni qo‘shish imkoniyatiga ega. U hajmi jihatdan juda katta, xilma-xillikka boy va foydalanish doirasi keng. Maxsus korpus: Maxsus korpus (masalan, CHILDES ma’lumotlar bazasi) o‘rganilayotgan mavzuning ma’lum xususiyatlariga e’tibor qaratib, til, dialekt va mavzuning muayyan xilma-xilligi uchun umumiy korpusda namuna olingan matnlardan tuzilgan korpusdir. 5 Tildagi barcha katta-yu kichik jihatlarni korpus o`zida jamlovchi elektron xazinadir. Matnlar korpusini yaratishda turli me`yorlar mavjud. Korpuslar berilganlar bazasining turlariga (og`zaki, yozma), matnlarning tiliga (rus, nemis, turk…), matn tarjimalarining parallelligiga (ikki tillik, uch tillik), uslubiga (so`zlashuv, badiiy, rasmiy, ilmiy, publitsistik), bazadan foydalanish imkoniyatiga (ochiq,yopiq), geografik holatiga(faqat bir davlatga mansub yoki va h.k.) qarab tuziladi. Korpus - kompyuterning ma`lumotlar bazasida saqlanuvchi og`zaki va yozma matnlar majmui. Korpusda yig`ilgan materiallarning aniq yozilgan vaqti, qaysi uslubga mansubligi, qaysi manbaga tegishliligi ham batafsil yoritilgan bo`ladi. Foydalanuvchi o`zining qiziqishlariga qarab xohlasin badiiy, xohlasin 5 Ma’ripov J. Korpus haqida umumiy tushuncha // Central Asian Journal of education and innovation 2023 www.in- academy.uz 8 ilmiy, xohlasin rasmiy yoki publitsistik uslubdagi matnlarga murojaat qila oladi. Bu til o`rganishda, ayniqsa, judayam katta naf keltiradi. Maktab ta`limida dars jarayonida o`quvchilarga bilimlarini mustahkamlashda topshiriqlarni tezkorlik bilan berishda pedagoglarga anchayin qo`l keladi. Korpus qamrovi juda keng, salmoqdorlik darajasi yuqori bo`lgan tizimlashtirilgan kutubxonadir. Foydalanishga qulay, vaqtni ancha tejaydi. Elektron qidiruv tizimi jihatidan boshqa dasturlardan farq qiladi. Korpus bo‘yicha qidiruv foydalanuvchiga belgilangan so‘zning turli kontekstdagi barcha shakldagi ko‘rinishini topib beradi. Lug`atda qaysi o`rinda ekanligini, uning variantlarini aniq ko`rsatadi. Qidirilayotgan so`zning birikish imkoniyatiga ega bo`lgan so`zlar qatorini, denotativ hamda konnotativ ma`nolarini belgilay oladi. So‘zdan foydalanish chastotasi yoki statistikasini adibning yozgan asarida tasvirlaydi. Aynan shu so`zdan qaysi davrda qanday qo`llanganlik holatini o`zida aks ettirib bera oladigan zamonaviy taraqqiyot belgisidir. O‘zbek tilining elektron korpusi Mahalla va oila ilmiy tadqiqot institutining JHBL-20-sonli “Oila, mahalla va gender tengligi mavzusida badiiy asarlarning elektron korpusini yaratish” loyihasi doirasida amalga oshirildi. Ushbu elektron korpus dunyo tajribasidan unumli foydalanilgan holda yaratildi. 6 1.2 Matn tahlili O‘tgan asming 90-yillarida morfologik tahlil generativ model, paradigmatik model, ikki tarkibli morfologik model kabi metodlarga asoslanilgan. O‘ttiz yildan oshiqroq vaqt mobaynida kompyuter morfologiyasi uchun turli texnologiyalarni yaratishga doir tadqiqotlar olib borilmoqda. Tillar uchun morfologik tahlil qilishning o‘nlab algoritmlari bo‘lishi tabiiy hol. Algoritmning bir yo‘nalishi so‘z oxiridagi harfiy birikmalarni qamrab oluvchi ma’lumotlar bazasidan foydalanadi. Bunda ehtimollik darajasiga ko‘ra, lingvistik resursdan olingan natijalar statistik 6 Sobirova N. Korpus lingvistikasi va parallel korpuslar tasnifi// Academic Research in Educational Sciences Volume 3 | Issue 5 | 2022 ISSN: 2181-1385 9 tahlil qilinadi. Avtomatik usulda morfologik tahlil qilish jarayoni quyidagi turlarga ko‘ra tasniflanadi: 1. Mantiqiy ko‘paytirish metodi orqali morfologik analiz. 2. Lug‘atsiz jadval orqali morfologik analiz. 3. So‘zlar asosiga asoslangan morfologik tahlil (so‘zlar asosiga tayanilgan morfologik tahlil Yevropa tillari uchun moslashtirilgan. Unda qo‘shimcha yordamchi jadvallardan foydalaniladi). 4. So‘zshakllarga (morfotaktik qoidalarga ko ra) ko ra morfologik analiz.ʻ ʻ Yuqoridagilardan so‘zshakllariga ko‘ra morfologik tahlil qilish usuli keng qo‘llanadi. Ushbu algoritmga muvofiq so‘zlar morfemalarga ajratilganda qidirilayotgan so‘z lug‘atdan topilmaslik ehtimoli kuzatiladi. Bu holatda o‘ngdan chapga qarab tahlil qilish jarayonida ko‘makchi morfemalarning turi va modeliga qarab uning qaysi so‘z turkumiga oidligi aniqlanadi. U holda o‘sha so‘zning qaysi so‘z turkumiga tegishli ekanligi belgilanadi. So‘zshakllarni tahlil qilish jarayonida quyidagi bosqichlar amalga oshiriladi: 1. So‘zshakl morfem segmentlarga ko‘ra zanjirsimon birikadi. 2. So‘zshakl morfem segmentlar zanjiri sifatida tartiblanmagan yangi elementlar to‘plami - morfemalarga almashtiriladi. 3. So‘z shakllar morfemalar to‘plami sifatida ma’lumotlar yoziladi. 10 4. Ushbu ma’lumot so‘z shakllari haqidagi yakuniy natija bilan qayta to‘ldiriladi. Mantiqiy ko‘paytirish metodi orqali morfologik tahlil qilish flektiv tillar uchun foydalaniladi. Turkiy tillar bo‘yicha morfologik analizator yaratish masalasi o‘tgan asrning 60-yillaridan kun tartibidan o‘rin oldi. O‘sha davrdan boshlab ko‘plab tadqiqotlar yuzaga chiqdi. Xususan, tatar tili morfologik modeli bo‘yicha tahlil 1990- yillarning o‘rtalaridan boshlab amaliyotga tatbiq etila boshlandi. O‘sha davrda tatar tilining morfologik analizatori uch modelga asoslangan: generativ, paradigmatik va ikki bosqichli model. Tatar tilining dastlabki morfologik analizatori ikki fayldan iborat bo‘lgan. Birinchi fayl-qoidalar fayli (Rules), ikkinchi fayl- leksik birliklardan iborat leksikon (o‘zak va affiksal morfemlardan tashkil topgan) hamda ularning morfotaktik qoidalari izohi ham tavsiflanadi. Leksikon o‘z navbatida ichki leksikondan iborat. Ichki leksikonning tuzilishi graflar bilan bog‘liq. Ushbu tahlil FST (finite state transducer), ya'ni chekli avtomat transyutiri texnologiyasi orqali amalga oshirilgan. Hozir turkiy tillarni o‘z ichiga olgan morfologik analizator, sintezator (boshqird, gagauz, turk, qozoq, tatar, qoraqolpoq, qirg‘iz, qrim-tatar, qo miq, chuvash, o‘zbek, uyg‘ur, tuva, saxa, no‘g‘ay) va mashina tarjimasigaʻ (boshqird, turk, qozoq, tatar, qoraqolpoq, qirg‘iz, qirim-tatar, qo miq) ʻ mo‘ljallangan platformadan foydalanish mumkin. So‘z turkumini aniqlovchi morfoanalizator uchun dastlabki algoritmlar ikki tarkibli tuzilishga asoslangan. Birinchi bosqich har bir so‘zning turkumini aniqlash bo‘lsa, ikkinchi bosqich ajratilgan har bir so‘zning grammatik qoidalariga tuzatishlar kiritish hisoblangan. O‘zbek tili uchun ma’lumotlar bazasi juda muhim sanaladi. Shuni unutmaslik kerakki, morfoanaliz faqat shakl bilan cheklanib qolmasligi kerak. Kompyuter lingvistikasida chuqur tahlil qilish metodi semantik tahlil deb ataladi. Morfoanalizator quyidagi ikki bosqichdan iborat bo‘ladi: 11 o so‘zlarning asosini aniqlash; o so‘z turkumini aniqlash; o asosga ko‘ra har bir affiksni tahlil qilish. Bu jarayon chapdan o‘ngga o yoki aksincha bo‘lishi mumkin: o har bir qo‘shimchaning turini belgilash. So‘zlarni ma’lumotlar bazasidan o‘qib olish uchun ularning simbollar ketma- ketligiga amal qilinadi. Belgilash o‘sha so‘z yaxlit birlik sifatida aniqlanmagunicha bu holat takrorlanaveradi. Morfologik tahlil uchun komponent tahlil metodidan ham foydalanish mumkin. Unga ko‘ra so‘zning uzunligi aniqlanadi. Shu tarkibdagi simvollar soniga qarab ma’lumotlar bazasidan qidiriladi. O‘sha so‘z bazadan aniqlanmagunicha tekshirish davom etaveradi. Kompyuter orqali matnni (og‘zaki va yozma) tahlil qilish quyidagi bosqichlarda olib boriladi:  fonetik  grafematik  morfologik  sintaktik  semantik Matnni me’yorlashtirish jarayoni morfologik tahlil bilan bog‘liq bo‘lib, quyidagi bosqichlarga ega: tokenizatsiya->lemmatizatsiya->stemmizatsiya.  Tokenizatsiya-matndagi so‘z shakllarini aniqlash; 12  Lemmatizatsiya-so‘zlarning lug‘atdagi ifodasini aniqlash;  Stemmizatsiya- derivativ so‘zlarning o‘zagini aniqlash. Morfologik tahlil sintaktik tahlil uchun muhim ahamiyatga ega. Chunki avtomat usulda matnni komponentlarga ajratishda u yoki bu so‘zning qaysi so‘z turkumiga tegishli ekanligini aniqlash zarur. Kompyuterlashtirilgan morfologiya (computational morphology)ning asosiy vazifasi "kiruvchi belgilar yoki fonemalardan iborat so‘zning tahlil holatidan chiqish bosqichiga uzatish?"dan iborat. Kompyuter lingvistikasida olib borilgan ishlarda avtomatik tahlil quyidagi bosqichlarni o‘z ichiga oladi:  iboralarni leksik qayta ishlash;  qo‘shimchalarni identifikatsiyalash. An'anaviy tilshunoslikda morfologik tahlil bosqichida "nima tasniflanadi?", degan savol qo‘yilsa, kompyuter lingvistikasida matndagi so‘zshakllar "qanday tahlil qilinadi", degan masala o‘rganiladi. 7 Korpusni tahlil qilishning asosiy imkoniyati-bu o‘z subkorpusini yaratish funksiyasi (berilgan parametrlar bo‘yicha shakllarni tanlash) qidirish xususiyatiga ega. Muayyan tadqiqotga xos bo‘lgan parametrik ma’lumotlarni kiritish mavjud matnni tahlil qilish vositasi sifatida ham, tadqiqotning o‘z empirik bazasi sifatida ham xizmat qilishi mumkin bo‘lgan o‘zingizning lingvistik korpusingizni yaratishga imkon beradi. Lingvistik korpusni tanlashda eng muhim xususiyat bu uning mutanosibligi yoki vakili, ya'ni turli davrlar, janrlar, uslublar, mualliflar matnlarining ma'lum bir muvozanati, shuningdek, tilda kuzatilganidek. Korpusning to‘g‘ri vakilligi tufayli cheklangan miqdordagi matnlar ushbu tilni o‘rganish uchun qoniqarli darajada tavsiflovchi tildan foydalanish qonuniyatlarini to‘g‘ri aks ettirishi mumkin. Vakillik tadqiqot yo‘nalishiga qarab bir nechta sifat parametrlari bilan belgilanadi: fonetik, morfologik, sintaktik, uslub. Hozirgi vaqtda fransuz 7 Abdurahmonova N. O‘zbek tili elektron korpusining kompyuter modellari. (Monografiya). Toshkent, 2021. 97- 100-B. 13 tilining tarixiy diaxron korpuslarining bir nechta loyihalari mavjud, ulardan biri o‘rta asr fransuz Tili bazasi yoki BFM (La base du français médiéval) loyihasidir. 2014-yilda fervalda ushbu korpus zamonaviy tanqidiy nashrlarga asoslangan IX – XV asr oxiri matnlarining 198 ta transkripsiyasini o‘z ichiga oladi [6, V. 105]. BFM korpusini yaratish bo‘yicha ishlar 1989 yilda gumanitar Fanlar Oliy normal maktabi (ENS LSH) professori K. Markello-Nizya rahbarligida boshlangan. Hozirda loyiha ustida ishlaydigan ICAR lingvistik laboratoriyasi xodimlari (Intéractions, Corpus, Apprentissages, Représentations) guruhi mavjud. Ushbu korpus onlayn [15] va bepul yuklab olish orqali tadqiqot uchun mavjud. BFM korpusi bir nechta loyihalarni o‘z ichiga olgan: o BFM 2014-126 ta matn va 3550000 ga yaqin so‘z va belgilardan iborat asosiy korpus. Asosiy korpus matnlarida meta-belgi, morfo- sintaktik belgilar, shuningdek to‘g‘ridan-to‘g‘ri va bilvosita nutq o‘rtasidagi o‘tishlarni ajratib ko‘rsatish mavjud. o SORPTEF (Corpus représentatif des premiers textes français) – IX-XII asrlarning eng qadimgi matnlari korpusi lotin tilida va ularning qadimgi fransuz tiliga tarjimasi. o BFMMSS (Base du français médiéval – manuscrits) – A. M. Lavrentiev tomonidan ishlab chiqilgan va asosiy korpus qo‘lyozmalarining parcha-parcha diplomatik transkripsiyalarini o‘z ichiga olgan qo‘shimcha korpus. o GRAAL-K. Markello-Nizya va A. M. Lavrentiev rahbarligida ishlab chiqilgan "Muqaddas Grailni qidirishda" XIII asr romanining elektron nashri [12, V. 145-148]. BFM korpusini tadqiq qilishning asosiy bazasi turli xil skriptlar va dialektlar, janrlar va shakllarning o‘rta asr qo‘lyozma matnlarining transkripsiyalari hisoblanadi. Ushbu korpusning o‘ziga xos xususiyati GRAAL loyihasida bir nechta nashrlarda bitta matnning transkripsiyalarini taqdim etishdir. 14 Moslashtirilgan nashr (rejim: version courante) zamonaviy til me'yorlariga yaqin transkripsiyani o‘z ichiga oladi va matnni qulay o‘qish uchun mo‘ljallangan. Diplomatik nashr (version diplomatique) asl matnga yaqinroq, ammo ba'zi transkriptlar va tushuntirishlarni ham o‘z ichiga oladi. Faksimil nashrida (version facsimilaire) asl imloga eng yaqin o‘rta asr matnining grafik xususiyatlari berilgan. Uchta versiyadan tashqari, loyihaga matnning zamonaviy tarjimasi (traduction) va qo‘lyozmaning fototip nashri (mspage va ms-colonne) kiritilgan. GRAAL loyihasining muhim vazifasi versiyalarni ko‘p o‘lchovli formatda (multi-facettes yoki "multi-facettes") taqdim etishdir. Matnlarni taqdim etishning ushbu formati bir vaqtning o‘zida bir nechta nashrlarni ekranga chiqarishga imkon beradi, shu bilan birga matnning parallel ko‘rinishini satr bo‘yicha saqlaydi. Shunday qilib, qo‘lyozmaning fotokopisini tarjima bilan yoki matn tadqiqotchisiga qo‘shimcha imkoniyatlarni taqdim etadigan versiyalardan biri bilan taqqoslash mumkin. Masalan, moslashtirilgan versiyani faks versiyasiga moslashtirish orqali, o‘rta asr matnidagi so‘zlarni qisqartirish yoki birlashtirish kabi hodisalarni tiklash mumkin. Ishning funksionalligi transkripsiyalardan tashqari, empirik va statistik ma’lumotlarni qidirish va tanlashning turli xil imkoniyatlari mavjud. Ushbu korpus har bir asar haqidagi bibliografik ma’lumotlarni o‘z ichiga olgan va matnlarni sotsiolingvistik diversifikatsiyalashga imkon beradigan meta-belgi bilan jihozlangan. BFM korpusining asosiy printsipi tanqidiy nashrga qat’iy rioya qilishdir. Shu munosabat bilan, ishni qurishda XML formati qo‘llaniladi, bu nafaqat matnning o‘zini, balki tanqidiy apparatning bir qator elementlarini (satrlarni raqamlash, ulardan foydalanish) ko‘paytirishga imkon beradi (turli xil shriftlar, matn variantlari, eslatmalar). Qidiruvni amalga oshirish uchun va subkorpuslarni tuzish BFM loyihasi cql (Contextual Query Language yoki Common Query Language) kompyuter so‘rovi tilidan foydalanadi. Ushbu til so‘z shakllarini qidirish va tanlashga imkon beradigan bir qator belgilar-belgilar [9, V. 338]. Qabul qilingan teglar va belgilarning to‘liq ro‘yxati 15 ICAR laboratoriyasining tegishli loyihasi veb-saytida "Manuel de TXM"qo‘llanmasida erkin mavjud BFM korpusidagi tadqiqotlarda CQL tili bir necha turdagi qidiruvlarni amalga oshirishga imkon beradi. Grafik imloni oddiy qidirish so‘zning ma'lum bir shaklini ishlatishning barcha holatlarini tanlashga imkon beradi. Masalan, Graal, "Graal" va [word="Graal"] shaklidagi so‘rovlar "Graal" so‘zining o‘ziga xos shaklini topish uchun ishlatiladi. Lemma bo‘yicha qidirish BFM korpusida morfologik deskriptor mavjudligi sababli mumkin va so‘zning turli shakllarini qidirishga imkon beradi. Shunday qilib, [frlemma="beau"] turini so‘rash "beau" sifatdoshining barcha shakllarini, ya'ni "beau", "bel", "belle" namunalarini beradi, «beaux», «bels», «belles». Grammatik kategoriya bo‘yicha qidirish kerakli grammatik kategoriyaga ega bo‘lgan barcha so‘zlarni tanlashga imkon beradi. Bunday holda, qabul qilingan teglardan foydalanish kerak [13, V. 160]. Masalan, [frpos="ADV"] – barcha qo‘shimchalarning tanlovi. Diakritik yoki harf harflarining imlosini qidirish bitta ildizli so‘zlarni qidirishni kengaytirishga imkon beradi. Shunday qilib, "franc.* "%cd "franc" ildizi bilan barcha misollarni, shu jumladan "franç" ildizi variantlarini va bosh harf bilan yozishni tanlashga imkon beradi. Bundan tashqari, tanada tinish belgilarini qidirish mumkin, bu bir nechta belgilar bilan amalga oshiriladi. Nuqta, undov va savol belgisini qidirish uchun \ \ belgisi funksiyalarni farqlash uchun ishlatiladi. Bunday tasvirlar, so‘rov turi\? barcha savol belgilarini tanlashga imkon beradi. Apostrofni qidirish uchun so‘zni kiritish, masalan, shaklni so‘rashdan foydalaning .* 'apostrof bilan tugaydigan so‘zlarni tanlaydi. So‘zning bir qismini yoki o‘zgaruvchan qidiruvni topish uchun CQL belgilarining qo‘shma birikmalaridan foydalaniladi, masalan: - + - bir yoki bir nechta belgilar mavjudligi: - .+nation.* - "millat" radikali va har qanday belgidan iborat prefiks mavjud bo‘lgan so‘zlar. - []- belgilarning o‘zgaruvchanligi, faqat bitta belgidan foydalanish mumkin. 16 - i[mn].* able - im-yoki in affikslari bo‘lgan barcha sifatlar-, - / - belgilarning o‘zgaruvchanligi, ikkala belgidan ham foydalanish mumkin: - pour / contre - "pour" va "contre" so‘zlarini o‘zaro istisnosiz ishlatishning barcha misollari. - () belgilar yoki qidiruv parametrlarini birlashtirish: - [frpos= " VER: (futu | cond | subi)"] kelajakdagi zamon (futur), shartli kayfiyat (conditionnel) va imperfekt subjunktiv kayfiyat (imparfait du subjonctif) shaklidagi barcha fe'llar. GRAAL loyihasida to‘g‘ridan – to‘g‘ri nutq yoki dialogning boshlanishini qidirish uchun <q> [] shaklidagi so‘rov ishlatiladi va to‘g‘ridan-to‘g‘ri nutqning oxirini qidirish uchun - [] </q>. 8 II BOB. Mualliflik korpusining ahamiyati 2.1. Mualliflik korpusi tushunchasi Hаr bir korpusni yаrаtishdа uning mаqsаdi vа qo‘llаnilаdigаn sohаgа qаrаb, tuzilishi vа mа’lumotlаrining xususiyаtlаri o‘zgаrtirilishi mumkin. Korpusning rаng-bаrаng ilovаlаr bilаn boyitilishi uning ilmiy vа o‘qimishliligini bаholаydigаn jihаtdir. Rus tili milliy korpusidа kiritmаlаrning to‘rt turidаn foydаlаnilаdi: 1)metаmаtnli; 2)morfologik; 3)tаlаffuz (аksentologik) vа 4)semаntik. Yаqin kunlаrdа uning sintаktik ko‘rinishi kiritilishi hаm rejаlаshtirilаyаpti. Kiritmаlаr tizimi borgаn sаri ko‘pаyib, tаkomillаshib borаverаdi. Bugungi kundа Korpus tilshunosligi sohаsining rivojlаnishi vа korpus yаrаtishgа bo‘lgаn ehtiyoj korpusning insoniyаtgа bir qаtor аfzаlliklаr berishi bilаn belgilаnаdi. Buni yаrаtilgаn korpuslаr misolidа ko‘rishimiz mumkin. Yаrаtilgаn korpuslаr turli sohаlаrdа fаydаlаnilmoqdа vа turli mаqsаdlаrgа xizmаt qilmoqdа. 8 Райскина В. Дубнякова О.А. СОВРЕМЕННЫЕ МЕТОДЫ КОРПУСНОЙ ЛИНГВИСТИКИ ПРИ АНАЛИЗЕ ТЕКСТА (НА ПРИМЕРЕ КОРПУСА BFM )// АКТУАЛЬНЫЕ ВОПРОСЫ ФИЛОЛОГИИ И ЛИНГВИСТИКИ с.149-151 17 O‘zbek milliy korpusi o‘zbek tilining tаvsiflаnishi, o‘zgаrishlаri vа lingvistik tаhlillаr uchun yаrаtilgаn. U hozirdа leksikologik tаhlildа, sintаktik tаhlildа, tаrjimа qilish, tilning аmаliy tаjribаsini oshirishdа vа o‘qitish vа tа’limdа foydаlаnib kelinmoqdа. Mualliflik korpusi, avtorlik huquqi bilan bog‘liq bo‘lgan ma’lumotlar bazasi yoki axborotlarni ifodalovchi to‘plamdir. Bu korpuslar, mualliflik huquqlari to‘g‘risida qonunlar, mavjud asarlar va ularning avtorlari haqida ma’lumotlarni o‘z ichiga oladi. Bu ma’lumotlar yaratuvchilar, ularning asarlari va huquqiy vazifalari to‘g‘risida analizlar, ilmi tadqiqotlar va statistik ma’lumotlar uchun foydalaniladi. Mualliflik korpusi, adabiy, akademik, va boshqa turdagi matnlar to‘plamidir, ular avtorlar, ularning asarlari va ularga oid ma’lumotlarni o‘z ichiga oladi. Bu korpuslar, til, tarixiy dasturlar, matnlar, yozuv uslublari, va boshqa tilshunoslik sohasida tadqiqotlar uchun foydalaniladi. Bu korpuslar, dilning yuqori sifatli ma’lumotlari va matnlarini o‘rganishda, tarjima dasturlarini ishlab chiqishda, yozuv uslublarini analiz qilishda va boshqa dasturlar uchun ma’lumotlar bazasini shakllantirishda yordam berishi mumkin. A.P.Chexov asarlari korpusitarkibiga A.P.Chexovning barcha tugallangan badiiy asarlari kiritilib, yozuvchining mukammal asarlar to‘plami lug‘at matnlariuchun asos bo‘lgan. Korpus tarkibida 600 ta matn (asar): 17 ta pyesa va 583 ta nasriy asar mavjud; 1 271664 so‘z qo‘llash holati (176308 so‘z pyesa va 1 095356 so‘z nasriy asardan), 101282 turli so‘zshakllar (23093 dramatik; 96141 nasriy asardan), 36419 leksema (11802 dramatik; 34763 nasriy asar) mavjud. Bitta nom bilan atalgan dramatikva nasriy asar matni alohida sanalgan. A.P.Chexov asarlari korpusilingvistik:so‘zshakl (1); lemma (2); so‘z turkumi (3); maxsus qo‘llanishlar (4) hamda ekstralingvistik:asar nomi (1); sarlavha va bag‘ishlov (2); asar yozilgan yil (3); davrlashtirish (4); matn tipi: nasriy yoki dramatik (5); imzo (6); asar janri (7); asar janrining muallif nuqtai nazaridan turi (8); nutqiy janr (9); yozilish joyi (10); hikoyachi tipi (11); asar mavzulari ko‘lami (12); asarning asosiy mavzusi (13); semantik guruh (shaxs; ism; rang; tovush) (14); 18 mukammal asarlar to‘plamida jild va sahifa raqami (15) kabi belgilar asosida razmetkalangan.So‘zshaklsirasiga raqam va ajratib yozilgan xorijiy so‘zlar (o‘zlashmagan, boshqa tilda) ham kiradi. Lemma“so‘z” oynasi orqali topiladi. Undagi so‘zlarning berilishi lug‘at[5]dan biroz farq qiladi: 1) korpus so‘zligiga lug‘atdan farqli ravishda “Ivanov” (1987) dramasi ham kiritilgan; 2) funksional omonimiya (ravish/predikativ) indeks bilan ajratilmagan, lug‘atda esa bu hodisa indeks bilan belgilangan; turkumni aniqlash uchun so‘z turkumi haqidagi ma’lumotga qarash kerak bo‘ladi; 3) variantlilik haqidagi ma’lumot (asosiy variant vaikkilamchi variant) yonma-yon keltirilgan. Asosiy variant keltirilsa, ikkilamchi variant keltirilmaydi. Qidirilayotgan birlik “so z” oynasidan topilmasa, “so zshakl” oynasiga murojaatʻ ʻ etish maqsadga muvofiq. “Asar nomi” oynasi ma'lum bir asar bilanbog liq barcha ma’lumotni: asar yozilgan yil, joy, asar haqidagi ʻ fikrlar, asarga A.P.Chexov MATida keltirilgan. “Sarlavha (qo shimcha sarlavha) va bag ishlov” oynasidan asarning ʻ ʻ ikkinchi sarlavhasi (agar mavjud bo lsa), asarning kimga bag ishlanganligi ʻ ʻ haqidagi ma’lumotni topish mumkin. A.S.Pushkin korpusi. A.A.Polikarpov “A.S.Pushkin tili elektron ensiklopediyasi”[6]ning yaratilishi haqida to xtalar ekan, ʻ bungacha (2006 yil) nafaqat A.S.Pushkin asarlari korpusi, balki biror muallif ijodining shunga o xshash nashri yo qligini, ushbu nashr bu yo ldagi ilk ʻ ʻ ʻ tajriba ekanligi, shuningdek, mualliflik leksikografiyasining sekin rivojlanayotganligini afsus bilan ta'kidlaydi. Uning fikricha, mualliflik korpusi jahon korpus lingvistikasida ham e'tibordan chetda qolib ketayotgan soha. Shu kungacha yaratilgan mualliflik korpuslari (Petrozavodsk davlat universiteti olimlari tomonidan ishlab chiqilgan F.M.Dostoevskiy publisistikasi korpusi) tahlilidan ma'lum bo ladiki, ular muallif til xususiyatining bir-ikki qirrasini ʻ namoyon etuvchi hamda elektron korpus sifatida ham tor imkoniyatli (asosan, 19 ma’lumot beruvchi) nashr sanaladi. Ushbu muammo jahon kompyuter leksikografiyasida ham o z yechimini topolgani yo q. Jahon mualliflikʻ ʻ korpuslarida qidiruvning asosiy (hatto yagona) birligi –tavsiflanmagan, omonimlik hodisasi farqlanmagan so zshakl. A.S.Pushkin asarlari korpusi ʻ mualliflik korpusi tuzishda muallif asarlari tili kompleks xususiyatlarini belgilashda yagona tajribaligicha qolib kelayotgan edi, “A.S.Pushkin asarlari tili elektron ensiklopediyasi” esa bu borada jiddiy qadam bo ldi. A.S.Pushkin asarlari ʻ tili hozirgi rus adabiy tili va grammatik me'yorlari shakllanishida asos vazifasini o taganligi sababli batafsil va chuqurroq o rganishga sabab bo ldi. A.S.Pushkin ʻ ʻ ʻ asarlari til xususiyatini aks ettiruvchi mavjud elektron nashrlar faqat so zshakl ʻ asosidagi qidiruv tizimi yoki A.S.Pushkin asarlarining ba'zi izoh, illyustrasiya mavjud elektron to plamdan iborat. Lingvistik ma’lumotlar bazasini tuzish ʻ ehtiyoji shu paytgacha A.S.Pushkin asarlari tili yaxlit va har tomonlama tadqiq etilmaganligidan kelib chiqdi. Nafaqat A.S.Pushkin leksikasi va frazeologiyasi semantik jihatdan tavsiflanmagan, balki yozuvchi tili grammatik (morfologik, morfem, so z yasalish, sintaktik) xususiyatlari ham tizimga solinmagan. So z, ʻ ʻ ibora, umuman, so zlikning A.S.Pushkinning turli janrdagi asarlari matnida ʻ ishlatilishi ham yaxlit monografik tizim planda tadqiq etilmagan. Bu muammoni yaxlit holda A.S.Pushkin asarlari korpusini tuzish orqali yechish mumkin. Buning uchun A.S.Pushkin asarlari tili har tomonlama lingvistik tahlil qlinishi zarur: muallif asarlari matnida uchraydigan so z, morfema va birikmalar grammatik, ʻ semantik jihatdan tavsiflanishi talab etiladi. Bunday xususiyatlarni o zida ʻ birlashtirgan A.S.Pushkin asarlari korpusi barcha mutaxassislar foydalanishi, tadqiqot olib borishi hamda zaruriy ilmiy xulosalar chiqarishda ko maklashuvchi ʻ mukammal ma’lumotlar bazasi bo lishi zarur. Bunday xususiyatli korpus ʻ birligining keng lingvistik axborotga ega bo lishi lingvistika, til tarixi, ona tilini ʻ bilish, anglash jarayoni shakllanishi, evolyutsiyasi sohasidagi tadqiqotlar doirasini kengaytiradi. Ushbu korpus ma’lumotlar bazasi sifatida, shuningdek, A.S.Pushkin tili xususiyatlari tadqiqining yangi bosqichi, yozuvchi matnlari so z birikma, ʻ 20 sintaktik birlik va strukturasi tadqiqi uchun asos bo ladi. F.M.Dostoevskiyʻ matnlari korpusi Dostoevskiy tili lug ati tuzish manbasi sifatida yaratilgan ʻ bo lib, korpus tuzish parametrlariga lug at maqolasi tuzilishi va tarkibi asos ʻ ʻ bo lgan. Lug atda F.M.Dostoevskiy leksikasini to liq qamrab olish maqsadida ʻ ʻ ʻ korpusga muallifning barcha badiiy, publisistik asarlari kiritilgan. Unda eng kikich birlik – yozuvchining alohida asari. Bugungi kunda turli elektron tashuv vositalarda uning badiiy asarlari, publisistikasi, epistolyar merosi mavjud; asar va sahifaga havola qiluvchi minimal razmetka bilan ASCII formatida saqlanadi. Korpus asosida bir necha lug at yaratilgan bo lib, A.Ya.Shaykevich ʻ ʻ tomonidan tuzilgan chastotali lug at shular jumlasiga kiradi. Muallif idiomalari ʻ lug atiga asos bo lgan idiomatik ma’lumotlar baza ham tuzilgan. F.M.Dostoevskiy ʻ ʻ korpusi CD-rom shakliga ham ega: u “Dostoevskiy: teksti, issledovaniya, materiali” deb nomlanadi. F.M.Dostoevskiy lug at-konkordansida muallif 30 jildlik mukammal ʻ asarlari to plamidagi barcha matnlar (badiiy asar, publisistika va yozuvchi ʻ “kundaligi”)dagi istalgan so z va so zshaklning ishlatilish konteksti, chastotasi, ʻ ʻ asosiy matnga o tish imkoniyati mavjud. Matn sifatida barcha tugallangan ʻ asarlari olingan, tugallanmagan yoki muallif qalamiga mansubligi aniq bo lmagan ʻ asarlar (mas., “Ryada statey o russkoy literature” –“Vopros o universitetax”), 30 jildlik mukammal asarlar to plamidagi muharrir izoh, havolalari, yozuvchi ʻ yondaftari bitiklari, qoralamalar kiritilmagan. A.P.Chexov asarlari korpusida esa mukammal asarlar to plamidagi muharrir ʻ izohlariga ham korpus birligi sifatida qaralgan. Ushbu lug at-konkordans ʻ F.M.Dostoevskiy asarlari korpusi va chastotali lug ati uchun asosiy manba ʻ vazifasini o tadi. Korpus uchun matnni tayyorlashning barcha bosqichi bajarilgan; ʻ uning asosiy birligi so zshakl va lemma hisoblanib, yozuvchining o z so zlari ʻ ʻ ʻ hamda sitatasifatida asar matniga kiritgan so zlar chastotasi aniqlangan. So z ʻ ʻ birikma sifatidagi atoqli otlar bitta birlik sifatida lemmalashtirilgan (Masalan: “Russkiy vestnik” jurnali nom sifatida beriladi; qidiruv ham shu tartibga amal 21 qiladi), bu esa muallifning u yoki bu nashr/asarga murojaat qilish chastotasini aniqlashga yordam beradi. Lug at-konkordansning yana bir afzalligi so z kontekstiʻ ʻ va uning manzilini aniqlayolishi. Foydalanuvchi qidiruvga berilgan so zshaklni ʻ o ng/chap tomonidan o nlab so zlar kontekstida ko rishi, tezda asosiy matnni ʻ ʻ ʻ ʻ tanlab olishi mumkin. Bu esa matnni elektron nashr matni bilan qiyoslash imkonini beradi. Korpusning o ziga xos xususiyati sifatida quyidagilarni ajratish ʻ mumkin: 1.Asosiy reestrdagi so z bosh harfda berilgan (“Belinskiy” so zi ʻ ʻ “BELINSKIY” shaklida), ammo so zni qidiruvga berishda harf shakli ahamiyatsiz. ʻ 2.Texnik sabablarga ko ra matnning asl manbasida uchraydigan kursiv so zlar ʻ ʻ neytrallashtirilgan. 3.Leksik omonimlar turli lug at maqolasida emas, bitta ʻ maqolada berilgan (foydalanuvchi kontekstga qarab omonimni bemalolaniqlay oladi). 4.Murakkab bog lovchi va iboralar tarkibga ajratilgan. 5.Qisqartma, ʻ abbreviatura izohlanmagan, raqamlar so zga aylantirilmagan. 6.Ishlatilish ʻ chastotasi balandbo lgan, qisqartilib yozilgan jurnal, gazeta nomi izohlangan, ʻ lemmalashtirilgan (Mas. Sovr. -"Sovremennik", Vest.Evropi-“VestnikEvropi”). 7.Defisli so z normallashtirilgan:bez-dar-nogo –“bezdarniy”. 8.So zlar ʻ ʻ orfografiyasi o zgartirilmagan (muallif davri orfografik shakli saqlab qolingan: ʻ “parke”, “Toloza” lemmasi (zamonaviy “parket”,“Tuluza”). 9.Xorijiy so zlar ʻ (o zlashmagan, boshqa imlodagi) lemmalashtirilmagan (m., fr.n'est), so z turkumi ʻ ʻ razmetkasi qo yilmagan. ʻ 2.2. Mualliflik korpusi taraqqiyoti Umumаn olgаndа, korpus lingvistikаsining tilshunoslikdаgi o‘rni hаqidа sаvol tug‘ilgаndа, аftidаn, bu аmаliyotdа qo‘llаnilаdigаn lingvistik tаdqiqot metodologiyаsi desаk to‘g‘ri bo‘lаdi, tilshunoslikning istаlgаn sohаsigа. Biroq, yаnа bir qаrаsh bor: korpus lingvistikаsi, аslidа, hаqiqiy ilmiy tilshunoslikdir. Ingliz аdаbiyotidа bu yondаshuvlаr - korpus lingvistikаsi tilshunoslik metodologiyаsi vа аlohidа fаn sifаtidа - korpusgа аsoslаngаn (korpusgа yo‘nаltirilgаn yondаshuv) vа korpusgа аsoslаngаn (korpusgа аsoslаngаn 22 yondаshuv) deb аtаlаdi. Birinchi yondаshuv lingvistik nаzаriyаlаrni yoki fаrаzlаrni qo‘llаb-quvvаtlаsh, tаsdiqlаsh, rаd etish yoki tаkomillаshtirish uchun korpuslаrdаn foydаlаnishni nаzаrdа tutаdi. Ikkinchi yondаshuv korpusning o‘zi til hаqidаgi nаzаriyаlаrimizning аsosiy vа yаgonа mаnbаi ekаnligini e’lon qilаdi, korpus lingvistikаsi bu yerdа nаzаriyа mаqomini olаdi vа ko‘rib chiqilаdi “tilshunoslik nаzаriyаsidаgi eng muhim tushunchа” sifаtidа. Demаk, korpus bilvositа til nаzаriyаsini o‘z ichigа olаdi vа siz fаqаt u erdаn “olishingiz” kerаk. Bu tushunchа bizni 20-аsrning birinchi uchdаn biridаgi аmerikаlik strukturаlistlаrning ishigа qаytаrаdi. Korpus lingvistikаsining chuqurligidа bu yondаshuv neofirthiаn deb аtаlаdi, chunki u J.R.Firt tomonidаn kiritilgаn kollokаtsiyа tushunchаsi bilаn kuchli bog‘liqdir. Mualliflik korpusi mualliflik leksikografiyasi bilan chambarchas bog liq,ʻ shu sababli mualliflik leksikografiyasi taraqqiyot darajasi korpus lingvistikasi bilan ikki tomonlama munosabatda: birining taraqqiyotini ikkinchisining rivojisiz ko rib ʻ bo lmaydi. Afsuski, tilshunoslikning bu ikki yo nalishi jahon tilshunosligida ʻ ʻ sekin rivojlanayotgan soha, mualliflik leksikografiyasi yo nalishida ancha ishlar ʻ qilingan bo lsa ham, bugungi kunda echimini kutib turgan masalalar ancha. ʻ Mualliflik korpusi taraqqiyoti ham shunday turg un holatda. Turg un ʻ ʻ deyishimizga sabab, korpus imkoniyatlari kengayib borishi mualliflik korpuslari mukammallashishiga ta’sir etmayapti. Mavjud mualliflik korpuslari (Yevropa tillari korpusi) juda primitiv razmetkalagan holida turibdi. Vaholanki, mukammal tuzilgan, chuqur razmetkalangan mualliflik korpusi asosida bugun leksikologiya, leksikografiya, til tarixi, dialektologiya, sosiolingvistika va boshqa soha rivojiga hissaqo shish, yangi-yangi imkoniyatlar eshigini ochishi mumkin. ʻ Mualliflik korpusi yordamida ma'lum yozuvchi/shoir tili konkordansini tuzish, milliy korpus va ma’lumotlar bazasi yaratish shular jumlasiga kiradi. Bu borada rus korpus lingvistikasida erishilgan yutuqlar diqqatga sazovor. A.P.Chexov, A.S.Pushkin, F.M.Dostoevskiy kabi buyuk yozuvchi, shoirlar korpusi, Britaniya milliy korpusi tarkibidagi U.Shekspir, Mangeym universiteti 23 korpusidagi I.Gyote korpusi; fors-tojik mumtoz va muosir adabiyoti korpuslari mualliflik korpusi yutug i, uning keyingi rivoji uchun namuna bo ladi. Yuqoridaʻ ʻ sanab o tilgan mualliflik korpuslarini tuzish tamoyillari bilan tanishib, ularning ʻ o ziga xos, farqli va mushtarak tomoni sifatida quyidagilarga e'tibor qaratish lozim ʻ degan xulosaga keldik. Korpus hosilasi sifatida turli (alifbo, chastotali, ters, semantik-grammatik) lug atlar yaratish, korpus tuzishning alohida metodologiyasi va konsepsiyasini ʻ ishlab chiqish, korpus va lug at uchun manba tanlash, korpus razmetkasi, lug at ʻ ʻ maqolasining tuzilishi, leksemani tavsiflovchi belgi (bosh so z, qisqacha izoh, ʻ grammatik xarakteristika, chastota); so zshaklning grammatik belgisi, so z ʻ ʻ qo llash holati xarakteristikasi (kontekst) kabi masalalar mualliflik korpusini ʻ tuzishning asosiy muammolari hisoblanadi. Har bir mualliflik korpusining o ziga xos belgisi sifatida korpusga material tanlash (yozuvchining qaysi ʻ matnlari korpusga olinish/ olinmasligi), lug at maqolasining tuzilishi ʻ (omonimlik, variantlilik holatining bir lug at maqolasida yoki alohida ʻ berilishi), korpus interfeysi, korpus menejeri kabi parametrlar o ziga xos ʻ xususiyatga ega. 9 2.3 O‘zbek tili milliy korpusi Til korpuslari — til bo‘yicha tadqiqot va amaliy topshiriqlar yechimi uchun zarur ish quroli. U oddiy elektron kutubxonadan farqlanadi. Elektron kutubxonaning maqsadi — xalqning ijtimoiy-siyosiy, ma’naviy, iqtisodiy hayotini aks ettiruvchi badiiy va publitsistik asarlarni nisbatan to‘liq qamrab olish. Elektron kutub xona matnlari til nuqtayi nazaridan ishlov berilmaganligi sababli tadqiqotlar uchun noqulaylik tug‘diradi. Chunki elektron kutubxona ilmiy tadqiqot materiali bazasini tayyorlash maqsadida tuzilmaydi, balki milliy-ma’naviy merosni to‘plashni maqsad qilgan bo‘ladi. Ta’limiy korpus ona tili hamda xorijiy tilni o‘rganishda birdek ahamiyatli. Tilni o‘rgatishda lug‘at boyligining ulkanligini 9 Xamroyeva Sh. Mualliflik korpusining mushtarak va o’ziga xos jihatlari// So’z san’ati xalqaro jurnali Toshkent- 2020 http://dx.doi.org/10.26739/2181-9297-2020-2-11 24 ko‘rsata olish, so‘zning qo‘llanish imkoniyatini u yoki bu grammatik qurilma orqali tushuntirish uchun misollar massivini ko‘rsatishda korpus juda qo‘l keladi. Til ta’limi uchun muhim bo‘lgan misolning doimiy yangilanib borishi, buni aks ettirib turish xususiyati hamda imkoniyati faqat korpusda mavjud. O‘qituvchi yangi, ishonarli, cheksiz hamda xilma-xil misollarni shu yerdan topa oladi, topshiriq, mashqlarni belgilashda qiynalmaydi, bir necha daqiqada mavzu bo‘yicha yangi-yangi misollardan iborat topshiriqlarni tayyorlay oladi. Til birligini qidirish kerak bo‘lsa, bunday dasturiy ta’minot, ya’ni korpus tadqiqotchi yoki foydalanuvchiga juda katta yordam beradi. Ilgari tadqiqotchi o‘z ishi uchun misolni topish, ularni kartotekaga ko‘chirish (kompyuter texnologiyalari rivojlanishidan oldingi davrda)ga oylab, ba’zan yillab vaqt sarflagan bo‘lsa, bugun dunyo til korpuslari yordamida sanoqli daqiqada yuzlab misol topishga, tahliliy natijalarni olishga va ular ustida ishlash imkoniga ega bo‘ldi. Maxsus qidiruv tizimi korpusdan ma’lumot olishga mo‘ljallangan bir qancha dasturdan iborat, u statistik axborot va qidiruv natijasini foydalanuvchiga qulay shaklda taqdim eta oladi. Tilda qanday jarayon kechayotganligini aniq tasavvur qilish uchun korpus qamrovini yanada kengaytirish, nafaqat yozma nutq, balki og‘zaki nutq materialidan ham foydalanish maqsadga muvofiq. Bunday korpus yordamida taraqqiyot natijasida tilda sodir bo‘lgan va kutilayotgan o‘zgarish haqida aniq xulosa chiqarish mumkin. Tilshunoslikka oid tadqiqotda fakt bilan ish ko‘riladigan hollarda material yig‘ilishi, sistemaga solinishi lozim. Bunday katta hajmli ishni bajarishda korpus vaqt va mehnatni tejaydigan ish quroli vazifasini bajaradi. U texnik jarayonni tezlashtiruvchi vosita bo‘libgina qolmay, muayyan tilning zamonaviy shakliga xos axborot tizimi ham bo‘lib, kutilmagan savolga javob bera oladigan, til hodisasi bilan shug‘ullanadigan soha oldiga avval ko‘rilmagan dolzarb muammolarni qo‘ya oladigan tizim. Korpuslar turli maqsadlarda turli sohalar uchun tuzilishi mumkin. Jumladan, og‘zaki yoki yozma matnlar, bir tilli yoki ko‘p tilli, uslubiga ko‘ra badiiy, 25 publitsistik, folklor, bazasi o‘zgaruvchan yoki o‘zgarmas, matn hajmiga ko‘ra to‘liq matnli yoki fragmentli korpuslar bo‘ladi. Milliy korpus — murakkab tuzilishga ega virtual borliq. Uning tarkibiy turlari bilan birga bazasi va tuzilishi ham anchayin murakkab. Bu murakkablik korpus imkoniyatlarining kengligini ham ko‘rsatadi. Korpus bu — lingvodidaktika, u ona tili va xorijiy tilni o‘rganishda birdek ahamiyatli. Bazaning jonli nutq, zamonaviy OAV materiali, badiiy adabiyot so‘zligi, mumtoz nasr namunasi, turli mavzu va janrdagi matnlar bilan doimiy boyitilishi natijasida korpus ta’limda yo‘naltirib o‘qitish imkoniyatini ham ochadi. Ko‘pincha qayta-qayta nashr etilgan darslikda misollar eskiligicha qolib ketadi va axborot bilan shiddatli yangilanib borayotgan bugungi kun uchun mavzu eskiradi, o‘quvchi bilimni davr bilan hamohang o‘zlashtirmaydi. O‘quvchida korpusdan unumli foydalanish ko‘nikmasi shakllantirilsa, u o‘z nutqida yo‘l qo‘yilayotgan xatolar va g‘aliz ifodalarni bartaraf eta oladi. Til korpusiga eng ko‘p ehtiyoj sezuvchi mutaxassis – bu filologik dasturlar uchun lingvistik ta’minotni yaratish uchun matnni avtomatik qayta ishlaydigan dasturchidir. Chunki u tabiiy til bilan ish ko‘radi hamda ushbu tilda yozilgan barcha matnlar strukturasini mukammalroq “tushunishi”, his etishi lozim bo‘ladi. Til korpusiga ehtiyoj sezadigan mutaxassislardan yana biri – kundalik ish jarayonida yozma va og‘zaki nutq jozibasiga tez-tez murojaat etuvchilar: gazeta va jurnal muharriri, jurnalist, radio va televideniye xodimlari. Chunki bu mutaxassislar ma’lum bir so‘z, ibora yoki gapning qo‘llanish holati, darajasi, kim, qachon ilk marta bu gapni qo‘llaganligi, qanday uslub uchun xoslanishini bilishga grammatika bilan shug‘ullanuvchi olimdan ko‘ra ko‘proq ehtiyoj sezadi. Korpusdan tashqari hech qanday axborot banki bu kabi savollarga zudlik bilan javob berishi mumkin emas. Shuning uchun korpuslar jurnalist, muxbir, muharrir, o‘qituvchi hamda dasturchi uchun maxsus yaratilgan, deyish mumkin. 10 10 Xoliyorov O’, Abjalova M. O’zbek tili milliy korpusi – muhim madaniy voqelik. http.ma’rifat.uz 15.08.2021 26 Xulosa Korpus lingvistikаsini kompyuter lingvistikаsining аsosiy yo‘nаlishi sifаtidа e’tirof etish mumkin, chunki mаtnni qаytа ishlovchi dаsturlаr korpusgа аsoslаnаdi. NLP tizimi uchun lingvistik bilimlаr judа muhim. Tillar uchun morfologik tahlil qilishning o‘nlab algoritmlari bo‘lishi tabiiy hol. Yuqorida matn tahlilining ko‘plab texnologiyalari mavjudligini ko‘rib chiqdik. Jumladan, mantiqiy ko‘paytirish metodi orqali morfologik analiz, lug‘atsiz jadval orqali morfologik analiz, so‘zlar asosiga asoslangan morfologik tahlil (so‘zlar asosiga tayanilgan morfologik tahlil Yevropa tillari uchun moslashtirilgan. Unda qo‘shimcha yordamchi jadvallardan foydalaniladi). So‘zshakllarga (morfotaktik qoidalarga ko ra) ko ra morfologik analiz. Yuqoridagilardan so‘zshakllariga ko‘ra morfologikʻ ʻ tahlil qilish usuli keng qo‘llanadi. Hozirgi kunda mualliflik korpuslari rivojlanib, takomillashib borayotganiga qaramasdan amalda uni yaratuvchilar va foydalanuvchilar juda kamchilikni tashkil etadi. Ya’ni mualliflik korpusi imkoniyatlarini keng ommaga taqdim qilish, uni afzalliklarini namoyon etgan holda butun dunyoga yoyish vaqti keldi. Til korpuslariga bo‘lgan asosiy ehtiyoj dasturchilar, ommaviy axborot xodimlari, yozuvchi, hatto pedagoglarda ham mavjuddir. Darhaqiqat, til korpuslari ta’lim jarayonida eng muhim o‘quv quroli. Mualliflik korpusi materialidan ta’limiy maqsadda foydalanish o‘ta ahamiyatli masala hisoblanadi. Mualliflik korpuslari o‘quvchilarning izlanuvchanlik salohiyatini o‘stirib, kichik tadqiqotlarni ishonchli dalillar asosida bajarishiga imkoniyat beradi. Ta’kidlash joizki, mualliflik korpuslarining ijtimoiy ahamiyati – keng qamrovli hisoblanib, undan lingvistik, etnopsixolingvistik tadqiqotlarda, ona tili, adabiyot, xorijiy til ta’limida, matnga avtomatik ishlov berish, tarjima dasturlarini tuzishda foydalanish mumkin. 27 Foydаlаnilgаn аdаbiyotlаr: 1. Аbdurаkhmonovа N. Modeling Аnаlytic Forms of Verb in Uzbek аs Stаge of Morphologicаl Аnаlysis in Mаchine Trаnslаtion. Journаl of Sociаl Sciences аnd Humаnities Reseаrch. 2017;5(03):89-100. 2. М.А.Бобунова.Конкорданс XXI В.: новая старая форма // Вопр. лексикографии. 2016. No2 (10) С.41-54. 3. К.И.Якубовский, К.А. Якубовская. Обзор современных лингвистических технологий и систем // Вестник МГУП. 2015. No2 С.315-319. 4. А.И.Столяров Словарь-конкорданс и его применение в рамках корпусной лингвистики // Гуманитарные научные исследования. 2017. No 2 [Электронныйресурс]. URL: http://human.snauka.ru/2017/02/21074 (дата обращения: 29.09.2017). 5. А bdur а khmonov а N . Dependency p а rsing b а sed on Uzbek Corpus . InProceedings of the Internаtionаl Conference on Lаnguаge Technologies for Аll (LT4Аll) 2019. 6. Eshmаmаtovа M.X. Korpus lingvistik tа’minotini yаrаtish mаsаlаlаri // «Kompyuter lingvistikаsining zаmonаviy texnologiyаlаri - CTCL.2023» mаvzusidа vаzirlik miqyosidаgi ilmiy-аmаliy аnjumаn www.myscience.uz 7. Jurаfskiy D., Jаmes H. Mаrtin Speech аnd lаnguаge processing. Аn Introduction to Nаturаl Lаnguаge Processing, Computаtionаl Linguistics, аnd Speech Recognition, 2007 8. Mohаmed Zаkаriа Kurdi. Nаturаl Lаnguаge Procesing аnd Computаtionаl Linguistics: Speech, Morphology аnd Syntаx. – Greаt Britаin, USА: Wiley- ISTE 2016. – P. 12 9. Махмудов, Қ. Ш., Санакулов, З. И., Шайхисламов, Н. З., Қаршиева, Д. Э. (2020). Педагогик таълимда “ Кластер ”. Science аnd Educаtion, 1(7), 587-593. 10. Sobirova N. Korpus lingvistikasi va parallel korpuslar tasnifi// Academic Research in Educational Sciences Volume 3 | Issue 5 | 2022 ISSN: 2181-1385 28 11. Abdurahmonova N. O‘zbek tili elektron korpusining kompyuter modellari. Monografiya// Toshkent-2021 97-100 betlar 12. Jurafsky, D., and J. H. Martin. 2008. Speech and language processing, 2nd ed . Upper Saddle River: Prentice Hall.; Manning, C., and H. Schutze. 1999. Foundations of statistical natural language processing. Cambridge: The MIT Press.; Roark, B., and R. Sproat. 2007. 13. Computational approaches to morphology and syntax. Oxford: Oxford University Press.; The Oxford handbook of computational linguistics (edited by Mitkov R.) – Oxford, 2003. – P. 63 14. Abdurahmanova M., Olimova M. Korpus lingvistikasining ahamiyati //Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti Universiteti “Kompyuter lingvistikasi: muammolar, yechim, istiqbollar” Xalqaro ilmiy amaliy konferensiya Vol. 1 №. 01 (2022) http://compling.navoiy-uni.uz/ 29 15. Xamroyeva Sh. Mualliflik korpusining mushtarak va o’ziga xos jihatlari// So’z san’ati xalqaro jurnali Toshkent-2020 http://dx.doi.org/10.26739/2181-9297-2020- 2-11 Internet manbalari: 1. https://google.com 2. https://desertcat.com 3. https://openai.com 29

MUNDARIJA

Kirish

I bob. Korpus lingvistikasi – zamonaviy yo‘nalish sifatida

1.1. Korpus tushunchasi va uning ahamiyati

1.2. Matn tahlili

II bob. Mualliflik korpusining ahamiyati

2.1. Mualliflik korpusi tushunchasi

2.2. Mualliflik korpusi taraqqiyoti

2.3. O‘zbek tili milliy korpusi

Xulosa

Foydalanilgan adabiyotlar ro‘yxati

Купить