Информация о документе

Цена 3000UZS
Размер 904.6KB
Покупки 0
Дата загрузки 07 Ноябрь 2026
Расширение pptx
Раздел Презентации
Предмет Педагогика

Продавец

Bohodir Jalolov

Big Data ni saqlash va uni qayta ishlashda Parallel va taqsimlangan hisoblash yondashuvlari

Купить
BI G DATA NI SAQLA SH VA UN I QAY TA ISHLA SHDA PA RA LLEL VA TAQSI MLA NGAN HI SOBLA SH YONDASHUV LARI. PARALLEL HISOBLASH  Parallel hisoblash - bu kompyuter fanining nazariy parallellik sinflaridan tortib, yuzlab ishlov berish tugunlari bo'lgan kompyuter klasterlarini amalda bajarishgacha bo'lgan bir necha sohalarini qamrab oladigan keng qamrovli sohasidir.  Parallel hisoblash - bir yoki bir nechta vazifalarni [bitta loyihani] hal qilish jarayonida hosil bo'ladigan ko'plab harakatlarni bir vaqtning o'zida bajarish qobiliyatidan foydalangan holda ko'p protsessorli tizimlarda amalga oshirilishi mumkin bo'lgan hisoblar. NIMA UCHUN YUQORI SAMARALI PARALLEL HISOBLASH KERAK? Yuqori tezlik (muammolarni tezroq hal qilish) "Qattiq" yoki "yumshoq" muddatlar mavjud bo'lganda muhim; masalan, 24 soatlik ob-havo ma'lumoti Yuqori o'tkazuvchanlik (ko'proq muammolarni hal qilish) Ko'p o'xshash vazifalarni bajarishimiz kerak bo'lganda muhim; masalan, tranzaktsiyalarni qayta ishlash Yuqori hisoblash quvvati (kattaroq muammolarni hal qilish) masalan, 24 soatlik emas, balki bir haftalik ob-havo ma'lumoti, yoki kattaroq aniqlik uchun nozikroq to'r bilan1 2 3 PA RA LLEL HISOBLASHN IN G ASOSIY MAQSA DI :  Muammoni hal qilish vaqtini qisqartirishdir;  Bir vaqtning o’zida kattaroq hisoblash muammolarini hal qilish Parallel hisoblashning vazifasi - ko'p protsessorli hisob -kitoblardan eng samarali foydalanishga erishish uchun muammolarni hal qilish jarayonlarida parallellik manbasini yaratish (parallel algoritmni olish). Ma'lumotlarni parallel ishlashdan foydalanish hisoblash tezligini oshirishning yagona usuli emas. Yana bir yondashuv - qayta ishlash bloklarining kuchini oshirishdir. Lekin ushbu yondashuvning cheklovlari mavjud: Cheklangan o'tish tezligi. Hatto eng tezkor aloqa - optik - o'tish tezligi yorug'lik tezligidan oshib ketishi mumkin emas. Qurulmalarning cheklangan o'lchamlari . Qurilma komponentlarining o'lchami qanchalik kichik bo'lsa, qurilma shunchalik tez ishlaydi. Biroq, ularning molekulyar va atom tuzilishi bilan bog'liq bo'lgan komponentlar hajmining jismoniy chegarasi mavjud. Resurslarning cheklanganligi. Misol uchun cheklangan xotira hajmi Iqtisodiy cheklovlar. Kristalda protsessor tezligini, qadoqlash zichligini va qatlamlar sonini oshirish uchun barcha murakkab ilmiy, muhandislik va ishlab chiqarish muammolarini hal qilish kerak. Shuning uchun har bir yangi avlod protsessorlari qimmat.1 2 3 4 PARLALLELLIK VA UNING TURLARI Parallellik -bir vaqtning o'zida bir nechta arifmetik-mantiqiy operatsiyalarni yoki dasturlar bo'limini bajarish qobiliyati. Tabiiy parallelik . Algoritm tabiiy parallellikka ega deyiladi, agar uni mustaqil bajariladigan qismlarga bo'lish mumkin bo’lsa. Ichki parallellik . Agar algoritmni parallel (lekin mustaqil ravishda emas) bajariladigan qismlarga bo'lish mumkin bo'lsa, ichki parallellik mavjud. Statik parallelizatsiya . Parallelizatsiya algoritm (dastur) bajarilishi boshlanishidan oldin amalga oshiriladi. Dinamik parallelizatsiya. Parallelizatsiya, algoritm (dastur) bajarilishida amalga oshiriladi. Parallel ishlov berish odatda bir xil dasturning ikki yoki undan ortiq qismini bir vaqtning o'zida ikki yoki undan ortiq protsessor modullari tomonidan bajarilishini anglatadi. Parallel hisoblash tizimi (parallel ma'lumotlarni qayta ishlash tizimi) - bu ikki yoki undan ortiq protsessor moduliga ega bo'lgan va bitta boshqaruv ostida ishlaydigan, yoki protsessor modullari guruhlari bir vaqtda, lekin har biri o'z nazorati ostida ishlaydigan tizim. RUSSEL QOIDASI Parallellik -bir vaqtning o'zida bir nechta arifmetik-mantiqiy operatsiyalarni yoki dasturlar bo'limini bajarish qobiliyati. Bu amallarni parallel bajarish imkoniyati Rassell qoidasi bilan belgilanadi, bu quyidagicha: A va B dastur ob'ektlari (buyruqlar, operatorlar, dasturlar) mustaqildir va quyidagi shart bajarilsa parallelik bajarilishi mumkin: bu yerda In (A) - kirish o'zgaruvchilari to'plami, Out (A) - A ob'ektining chiqish o'zgaruvchilari to'plami. Agar (1.1) shart bajarilmasa, u holda A va B o'rtasida bog'liqlik mavjud va ularni parallel bajarish mumkin emas. Agar (1.1) shart birinchi davrda buzilgan bo'lsa, unda bunday bog’liqlilik to'g'ri chiziq deb ataladi. Misol keltiraylik: Bu erda A va B operatorlarini bir vaqtning o'zida bajarish mumkin emas, chunki A natijasi B operandidir. Agar shart ikkinchi muddatda buzilgan bo'lsa, bunday bog’liqlilik teskari deyiladi: Bu yerda A va B operatorlarini bir vaqtning o'zida bajarish mumkin emas, chunki B bajarilishi A dagi operandning o'zgarishiga olib keladi. Nihoyat, agar shart uchinchi davrda bajarilmasa, bunday bog’liqlilik raqobatbardosh deb ataladi: Bu yerda bayonotlarning bir vaqtda bajarilishi aniq bo'lmagan natijalarni beradi. MA'LUMOTLARI GRAFIGI Bu yerda bayonotlarning bir vaqtda bajarilishi aniq bo'lmagan natijalarni beradi. Har qanday dasturning parallelligini oshirish belgilangan bog'liqliklarni topish va yo'q qilishdan iborat. Bu bog'liqliklarni ifodalashning eng keng tarqalgan shakli vazifa ma'lumotlari grafigi (MG) hisoblanadi. Muayyan vazifaning mantig'ini, aniqrog'i, vazifadagi operatsiyalarni bajarish tartibini tavsiflovchi MG ning misoli quyidagi rasmda ko'rsatilgan. Matematik ifodaning axborot grafigi (a) va ifodadagi amallar tartibi (b) FLINN TAKSANOMIYASI Hisoblashda har xil parallelizmni tasniflashning birinchi usuli bu ularni ma'lumotlar va ko'rsatmalarning o'lchamlari bo'yicha ajratishdir. Quyidagi tasnif Flin taksonomiyasi sifatida tanilgan. U har xil protsessorlarning bir xil yoki boshqa ko'rsatmalarni bajarishiga va bir xil yoki boshqa ma'lumotlarda ishlashiga qarab hisobni ajratadi. Flin taksonomiyasi rasmda ko'rsatilgan quyidagi toifalarni belgilaydi. F L Y N N ’ S TAXONOMY ( S I S D , S I M D , M I S D , M I M D ) INTRODUCTION  1996 yilda Mishel Flinn kompyuter arxitekturasining tasnifini taklif qildi.  Ko'rsatmalar oqimlari va ma'lumotlar oqimlari soniga asoslangan (Flynn taksonomiyasi).  Flynn's mashina tuzilmalarini tavsiflash uchun oqim tushunchasidan foydalanadi.  Oqim shunchaki elementlar ketma-ketligini anglatadi (ma'lumotlar yoki ko'rsatmalar) INTRODUCTION INSTRUCTION STREAM – KO’RSATMALAR OQIMI : ▪ ▪ Ko'rsatmalar oqimi - bu bitta protsessor tomonidan bajarilishi kerak bo'lgan ketma-ket ko'rsatmalar to'plami xotiradan o'qiladigan ko'rsatmalar ketma-ketligi. DATA STREAM – MA’LUMOTLAR OQIMI : ▪ Ma'lumotlar oqimi - ko'rsatmalar oqimi tomonidan talab qilinadigan ketma- ket ma'lumotlar oqimi. ▪ Protsessordagi ma'lumotlar ustida bajariladigan amallar CATEGORIES Flynn's four categories are: 1. SISD : S INGLE I NSTRUCTION S INGLE D ATA - BIR KO'RSATMA BIR MA'LUMOT 2. SIMD : S INGLE INSTRUCTION M ULTIPLE D ATA - BIR KO'RSATMA KO'P MA'LUMOT 3. MIMD : M ULTIPLE I NSTRUCTION M ULTIPLE D ATA - KO'P KO'RSATMA KO'P MA'LUMOT 4. MISD : M ULTIPLE I NSTRUCTION S INGLE D ATA - KO'P KO'RSATMA BITTA MA'LUMOT “ KATEGORIYALAR SISD :  Bir vaqtning o'zida bitta ko'rsatma bitta ma'lumot ustida ishlaydi  Bu bitta ko'rsatmani bajarishga qodir bir protsessorli mashina bo'lib, u bitta ma'lumot oqimida ishlaydi.  Ushbu arxitektura juda qadimiy bo'lib, u bitta protsessor/yadroli eng qadimgi turdagi kompyuterlar tomonidan ishlatilgan. SISD : SIMD:  Bir vaqtning o'zida bitta ko'rsatma ko'p ma'lumotlar bilan ishlaydi  Bu barcha protsessorlarda bir xil ko'rsatmalarni bajarishga qodir, lekin turli ma'lumotlar oqimlarida ishlaydigan ko'p protsessorli mashina.  Ushbu arxitektura protsessor massivlari va ko'pgina zamonaviy kompyuterlar tomonidan qo'llaniladi SIMD : MISD:  Qayta ishlash birliklari bitta ma'lumot oqimida turli ko'rsatmalarni bajarishi mumkin  MISD hisoblash tizimi - bu ko'p protsessorli mashina bo'lib, turli xil qayta ishlash elementlari turli ko'rsatmalarni bajarishga qodir, ammo ularning barchasi bir xil ma'lumotlar to'plamida ishlaydi.  Amalda ko'rinmaydi. MISD : MIMD:  Bir nechta ma'lumotlar oqimida ishlaydigan bir nechta ko'rsatmalar oqimi.  Bu bir nechta ma'lumotlar to'plamlarida bir nechta ko'rsatmalarni bajarishga qodir ko'p protsessorli mashina  MIMD mashinalari asinxron ishlaydi.  Ushbu arxitektura eng zamonaviy superkompyuterlar va ko'p yadroli kompyuterlar tomonidan qo'llaniladi. MIMD : SISD VS SIMD (SISD VA SIMD FARQII) To'rtta yig'indi (ko'rsatmalar) SIMD bitta yig'indisi (ko'rsatma) MIMD ARXITEKTURALARI (UMUMIY XOTIRA) Yagona xotiraga kirish (UMA) Yagona bo'lmagan xotiraga kirish (NUMA) RAG'BATLANTIRUVCHI MISOL Eratosfen g’alvirida n = 30 uchun 10 ta tub sonlar ro'yxatini berdi. Berilgan elementlar ro'yxatidan o'chirish bilan ajralib turadi. Init. Pass 1 Pass 2 Pass 3 2  m 2 2 2 3 3  m 3 3 4 5 5 5  m 5 6 7 7 7 7  m 8 9 9 10 11 11 11 11 12 13 13 13 13 14 15 15 16 17 17 17 17 18 19 19 19 19 20 21 21 22 23 23 23 23 24 25 25 25 26 27 27 28 29 29 29 29 30Har qanday kompozit sonning kvadrat ildizidan katta bo'lmagan tub koeffitsienti bor. G’ALVIRNING YAGONA HISOBLASH TIZIMIDA AMALGA OSHIRILISHI Eratosfen ga’lviri uchun yagona hisoblash mashinasi sxemasi1 2 n C u rren t Prime In d ex PBirlik vektor CONTROL-PARALLEL IMPLEMENTATION OF THE SIEVE1 2 n Current Prime Index P 1 Index P 2 Index P p ... Shared Memory I/O Device (b) Schematic representation of a control-parallel solution for the sieve of Eratosthenes. RUNNING TIME OF THE SEQUENTIAL/PARALLEL SIEVE Control-parallel realization of the sieve of Eratosthenes with n = 1000 and 1  p  3. 0 100 200 300 400 500 600 700 800 900 1000 1100 1200 1300 1400 1500 +----- +----- +----- +----- +----- +----- +----- +----- +----- +----- +----- +----- +----- +----- +----- + 2 | 3 | 5 | 7 | 11 |13|17 2 | 7 |17 3 5 | 11 |13| 2 | | 3 11 | 19 29 31 5 | 7 13|17 23 Time 19 29 23 31 p = 1, t = 1411 p = 2, t = 706 p = 3, t = 499 19 23 29 31 DATA-PARALLEL IMPLEMENTATION OF THE SIEVE Data-parallel realization of the sieve of Eratosthenes. 1 2 Current Pri me P 1 Index n /p n /p +1 Current Prime P2 Index 2n /p Current Prime P p Index Commu n i- cation n – n /p +1 n Assume at most  n processors, so that all prime factors dealt with are in P 1 (which broadcasts them)  n < n / p TAQSIMLANGAN HISOBLASH TIZIMILARI Taqsimlangan tizim Taqsimlangan tizim - bu alohida hal qilib bo'lmaydigan muammoni hal qilish uchun hamkorlik qiladigan mustaqil ob'ektlar yig'indisidir. Taqsimlangan hisoblash tizimi - umumiy xotira yoki umumiy jismoniy soatga ega bo'lmagan, aloqa tarmog'i orqali o'tuvchi xabarlar orqali muloqot qiladigan va har bir kompyuter o'z xotirasiga ega va o'z operatsion tizimida ishlaydigan kompyuterlar to'plami. Odatda kompyuterlar yarim avtonom bo'lib, muammoni birgalikda hal qilish uchun hamkorlik qilganda erkin bog'lanadi. Taqsimlangan hisoblash tizimi tizim foydalanuvchilariga yagona kogerent kompyuter sifatida nomoyon bo’ladi. TAQSIMLANGAN HISOBLASH TIZIMIGA QO’YILGAN ASOSIY TALABLAR Taqsimlangan hisoblash tizimlarga qo'yiladigan asosiy talab ularning shaffofligi , ochiqligi va miqyoslanishiga erishishdir. Taqsimlangan tizim ma'lumotlar qanday taqdim etilishi va resurslarga kirishdagi farqlarni yashirishi kerak. Tarqalgan tizimlarning bu xususiyati ma'lumotlarga kirishning shaffofligi deb ataladi. Tarqalgan tizim resurs joylashuvining shaffofligini ta'minlashi, ya'ni uning jismoniy joylashuvini yashirishi kerak. Resurs vaqti-vaqti bilan o'z manzilini o'zgartirishi mumkin va keyingi safar chaqirilganda u boshqa joyda (lekin bir xil mantiqiy manzilda) topilishi mumkin. Tizim resurslarga o‘z joylashuvini o‘zgartirish imkonini berish xususiyati taqsimlangan tizimlar shaffofligining bir ko’rsatgichidir. TAQSIMLANGAN HISOBLASH TIZIMIGA QO’YILGAN ASOSIY TALABLAR Taqsimlangan tizimlar resurslardan foydalanishni muvozanatlash uchun ularni takrorlash, ya'ni bir nechta jismoniy manzillarda ko'paytirish imkonini beradi. Foydalanuvchidan buni yashiriash replikatsiya shaffofligi deyiladi. Taqsimlangan tizimda, agar tizimning boshqa qismi ishlamay qolsa, uskunaning bir qismi ishni o'z zimmasiga olishi uchun tartibga solinishi kerak. Buzilishda shaffofligiga erishishdagi asosiy qiyinchiligi - bu haqiqatan ham buzilgan qismlarni tizimning sekin ishlaydigan qismlaridan ajratishdir. Ma'lumotlar turli xil jismoniy vositalarga joylashtirilishi mumkin, shu jumladan tizim o'chirilganda o'z qiymatlarini saqlab qolishi mumkin. Ma'lumotlar yaxlitligi shaffofligi xususiyatiga ega bo'lgan tizimning harakatlari bunday ob'ektlarni qayta ishlashda foydalanuvchidan yashirin bo'lishi kerak. TAQSIMLANGAN HISOBLASH TIZIMIGA QO’YILGAN ASOSIY TALABLAR Ochiqlik - standartlar asosida sintaktik va semantik qoidalardan foydalanish. Tarqalgan tizim uchun bu, birinchi navbatda, rasmiylashtirilgan protokollardan foydalanishdir. Ochiq tizimlarning eng muhim xususiyati - bu moslashuvchanlikdir. Moslashuvchanlik - bu turli komponentlardan tashkil topgan tizimni sozlash qulayligi. Kerakli moslashuvchanlik darajasiga erishish ochiq taqsimlangan tizimning kengaytirilishiga olib keladi. TAQSIMLANGAN HISOBLASH TIZIMIGA QO’YILGAN ASOSIY TALABLAR Taqsimlangan dasturiy ta'minot tizimlari o'lchov, geografik joylashuv, tizimlarning ma'muriy tuzilmasi bilan bog'liq holda o'zini namoyon qilishi mumkin bo'lgan masshtablilik xususiyatiga ega. Masshtablilikka erishish xizmatlar (ko‘p mijozlar uchun bitta server), ma’lumotlar (bir xil ma’lumotlar fayliga bir necha marta kirish) va algoritmlar (markazlashtirilgan algoritmlardan foydalanish tufayli aloqaning haddan tashqari yuklanishi)dagi qiyinchiliklarni hal qilishni o‘z ichiga oladi. Masshtablilikning yana bir natijasi shundaki, taqsimlangan tizimlar uchun apparat yechimlari bitta texnologiya asosida qurilmagan, bir jinsli bo’lmagan yani turli xil bo'lishliligiga erishishdir. TAQSIMLANGAN HISOBLASH TIZIMINING ISHONCHLILIK XUSUSIYATI Taqsimlangan tizim resurslarni takrorlash va amalga oshirish imkoniyati tufayli yuqori ishonchlilikni ta'minlash uchun o'ziga xos potentsialga ega. Ishonchlilik bir necha jihatlarni o'z ichiga oladi: • mavjudlik , ya'ni resurs har doim mavjud bo'lishi kerak; • yaxlitlik , ya'ni resursning qiymati/holati bir nechta protsessorlarda bir vaqtda bir biriga mos bo’lishi kerak; • nosozliklarga chidamlilik , ya'ni tizimdagi nosozliklarni tiklash qobiliyati. Taqsimlangan hisoblash tizimlarining o’zaro bog’lanish sxemasi Taqsimlangan hisoblash tizimi samaradorligiga chambarchas bog'liq bo'lgan yana bir muhim omil - bu jarayonlararo aloqa va sinxronizatsiya . Ayniqsa, katta hajimdagi ma’lumotlarni bir serverdan ikkinchisiga to’qnashuvlarsiz va yo’qotishsiz uzatish tizim samaradorligining qiyin bo'g'inidir. Bu, shuningdek, taqsimlangan tizimlarda parallel ishlash jarayoniga ham tasir qiladi. Shuning uchun taqsimlangan hisoblash tizimining o’zaro bog’lanish sxemasini tanlash ish samaradorligiga ta’sir qiladi. Taqsimlangan hisoblash tizimlarining bir qancha o’zaro bog’lanish sxemalari mavjud bo’lib, ulardan asosiylari quyidagi ramsda ko’rsatilgan Taqsimlangan hisoblash tizimlarining o’zaro bog’lanish sxemasi Chiziqli o’zaro bog’lanish sxemasi - hisoblash tugunlari bitta chiziqqa joylashtirilgan va ulangan. Marshrutlash oddiy va topologiyani rekursiv sifatida ko'rish mumkin. Biroq, qo'shni bo'lmagan har qanday ikkita tugun o'rtasidagi aloqa boshqa tugunlarning yordamiga muhtoj, har qanday oraliq tugundagi nosozlik butun tizimni buzadi. Taqsimlangan hisoblash tizimlarining o’zaro bog’lanish sxemasi Trassali o’zaro bog’lanish sxemasida har qanday ikkita tugun o'rtasida to'g'ridan-to'g'ri ulanishga ega. O'zaro ulanish umumiy trassa orqali amalga oshiriladi. Bu bog’lanishlardagi murakkablikni sezilarli darajada kamaytiradi. Biroq, trassadan katta ma’lumotlarning oqib o’tishini hisobga olsak har bir abonent ma'lumotlarni uzatishda aloqa kanalini uzoq vaqt band qiladi. Natijada bir vaqtda uzatilgan xabarlar to’qnashuvi sababli o’z manziliga yetib bormaydi Taqsimlangan hisoblash tizimlarining o’zaro bog’lanish sxemasi Halqali o’zaro bog’lanish sxemasi - bu chiziqli o’zaro bog’lanish sxemasining ikki uchi o’rtasida qo’shimcha ulanish bilan takomillashtirilgan sxema. Bu o’zaro ulanish masofasini 2 martaga kamaytiradi. Biroq, asosiy xususiyatlar hali ham bir xil yuqori ishlash yoki ishonchlilikni yarata olmaydi hamda tizim miqyosi kattalashgani sari unumdorlik tez pasayadi. Taqsimlangan hisoblash tizimlarining o’zaro bog’lanish sxemasi Yulduzli o’zaro bog’lanish sxemasi, barcha abonentlarni birlashtiruvchi markaziy abonentga ega. Har bir aloqa kanali faqatgina ikkita abonentga xizmat qilganligi uchun ma’lumotlar to’qnashuvi kuzatilmaydi. Bundan tashqari o’zaro ulanish masofasi 2 ga teng bo'lib, markaziy kommutator tugunining yordami bilan kollektiv aloqani oson amalga oshirishni qo'llab-quvvatlaydi va rekursiv kengayish imkonini beradi. Taqsimlangan hisoblash tizimlarining o’zaro bog’lanish sxemasi To'liq bog'langan o’zaro bog’lanish sxemasi. Unda har qanday ikkita hisoblash tugunlari o'rtasida to'g'ridan-to'g'ri aloqa mavjud. O’zaro bog’lanish masofasi 1 ga teng va har bir aloqa kanal faqatgina ikkita hisoblash tugunini bog’laydi. Natijada bu tizimning ishonchliligini oshiradi.

Big Data ni saqlash va uni qayta ishlashda Parallel va taqsimlangan hisoblash yondashuvlari

Купить