Big data va ma’lumotlar tahlili fanining mazmuni, predmeti va metodi - Информатика и ИТ - Презентации

Информация о документе

Цена	3000UZS
Размер	1.9MB
Покупки	0
Дата загрузки	17 Апрель 2026
Расширение	pptx
Раздел	Презентации
Предмет	Информатика и ИТ

Big data va ma’lumotlar tahlili fanining mazmuni, predmeti va metodi

Купить

Katta ma’lumotlarni qayta ishlash texnologiyalari

BIG DATA VA MA’LUMOTLAR TAHLILI” FANINING MAZMUNI, PREDMETI VA METODI Reja: 1. "Big data va ma`lumotlar tahlili" fanining mazmuni 2. Big Data bilan ishlash bosqichlari 3. Data Mining. Data Mining texnologiyalari

1-Mavzu: BIG DATA VA MA`LUMOTLAR TAHLILI” FANINING MAZMUNI,PREDMETI VA METODI Ma’lumot bu……

1-Mavzu: BIG DATA VA MA`LUMOTLAR TAHLILI” FANINING MAZMUNI,PREDMETI VA METODI Ma’lumot bu - bu xom faktlar, raqamlar, kuzatishlar yoki tafsilotlar yig'indisi. Ular o'z-o'zidan ma'no kasb etmaydi, biroq tahlil qilinganda axborot va bilimga aylanadi. Asosiy xususiyatlari: • Hajmi: Odatda, an'anaviy ma'lumotlar bazalari (masalan, Excel jadvallari, SQL bazalari) yoki standart fayl tizimlarida osongina qayta ishlanishi mumkin bo'lgan kichik yoki o'rta hajmdagi ma'lumotlar. • Strukturasi: Ko'pincha strukturalangan (ya'ni, aniq jadvallar, qatorlar va ustunlar shaklida tartiblangan) bo'ladi. • Qayta ishlash: An'anaviy usullar va vositalar (masalan, oddiy statistik tahlil dasturlari) yordamida qayta ishlanadi. • Manbalari: Tashkilotning ichki oper

1-Mavzu: BIG DATA VA MA`LUMOTLAR TAHLILI” FANINING MAZMUNI,PREDMETI VA METODI Katta ma’lumotlar bu (Big data)……

Katta ma’lumotlar bu (Big data) - bu shunchaki "ko'p ma'lumot" emas, balki juda katta hajmdagi, xilma-xil va tezkorlik bilan keladigan ma'lumotlar to'plami bo'lib, ularni an'anaviy vositalar bilan qayta ishlash, saqlash va tahlil qilish imkonsiz yoki samarasizdir. Katta Ma'lumotlarning Asosiy Xususiyatlari: 1. Hajm (Volume): Ma'lumotlar miqdori juda ulkan — Terabayt (TB), Petabayt (PB) yoki hatto Eksabayt (EB) darajasida. 2. Tezlik (Velocity): Ma'lumotlar yuqori tezlikda yaratiladi va oqib keladi (masalan, real vaqt rejimida sensorlardan yoki ijtimoiy tarmoqlardan).

1. Xilma-xillik (Variety): Ma'lumotlar turli formatlarda bo'ladi. Ular strukturalangan (DB jadvallari), yarim-strukturalangan (XML/JSON) yoki strukturasiz (matn, video, audio, rasm, log-fayllar) bo'lishi mumkin. 2. Ishonchlilik (Veracity): Ma'lumotlarning sifati, to'g'riligi va ishonchliligi darajasi. Katta ma'lumotlar ko'pincha shovqinli va noto'g'ri bo'lishi mumkin. 3. Qiymat (Value): Ma'lumotlarning tahlilidan olinadigan amaliy foyda yoki biznes qiymati. Eng muhimi, ma'lumotning o'zi emas, balki undan olingan xulosa va bashoratlardir.

"Big data va ma`lumotlar tahlili" fanining mazmuni Big data(katta ma'lumotlar) - juda katta hajmdagi bir jinsli bo'lmagan va teztushadigan raqamli ma'lumotlar bo'lib, ularni odatiy usullar bilan qayta ishlabbo'lmaydi. Ba'zi hollarda, katta ma'lumotlar tushunchasi bilan birga shuma'lumotlarni qayta ishlash ham tushuniladi. Asosan, analiz obyekti kattama'lumotlar deb ataladi. Big data atamasi 2008-yilda dunyoga kelgan. Nature jurnalimuharriri Klifford Linch dunyo ma'lumotlar hajmining juda tez sur'atda o'sishigabag'ishlangan maxsus sonida big data atamasini qo'llagan. Biroq, katta ma'lumotlaravval ham bo'lgan.

"Big data va ma`lumotlar tahlili" fanining mazmuni Katta ma'lumotlar: qaysi ma'lumotlar katta deb hisoblanadi. Mur qonunida tasvirlangan hisoblash quvvatining eksponentli o'sishi sababli, ma'lumotlar miqdori ularning katta yoki yo'qligini aniq mezon bo'lishi mumkin emas. Masalan, bugungi kunda katta ma'lumotlar terabaytlarda, ertaga petabaytlarda o'lchanadi. Shuninguchun Big Data-ning asosiy xususiyati bu ularning tuzilish darajasi va taqdimotvariantlari. Mutaxassislarning fikricha, kuniga 100 gb dan ko'p ma'lumottushadigan oqimlarga big data deb aytiladi. Katta ma'lumotlarni analiz qilish, insonhis etish imkoniyatidan tashqarida bo'lgan qonuniylatlarni aniqlashda yordamberadi. Bu esa kundalik hayotimizdagi barcha sohalar, hukumatni b

"Big data va ma`lumotlar tahlili" fanining mazmuni Sensorlardan yoki audio va video yozuv qurilmalaridan doimiy ravishdakeladigan ma'lumotlar, ijtimoiy tarmoqlardan kelgan xabarlar oqimlari,meteorologik ma'lumotlar, uyali aloqa abonentlarining geolokatsion koordinatlari vaboshqalar kata hajmdagi ma'lumotlarning yorqin misolidir Katta ma'lumotlar manbalari quyidagicha bo'ladi: Internetdagi ijtimoiytarmoqlar, bloglar, OAV, forumlar, veb- saytlar, (Internet of Things (IoT));korporativ ma'lumotlar - bitimlar, arxivlar, ma'lumotlar bazalari va fayllarni saqlash;asboblarning ko`rsatgichlari - sensorlar, magnitafonlar va boshqalar..

2. Big Data bilan ishlash bosqichlari Katta Ma'lumotlar (Big Data) bilan ishlash jarayoni an'anaviy ma'lumotlarni qayta ishlashdan farqli o'laroq, maxsus texnologiyalarni talab qiluvchi bir qator ketma-ket bosqichlardan iborat. Bu jarayon odatda "Ma'lumotlar Quvuri" (Data Pipeline) deb ataladi. 1. Ma'lumotlarni Yig'ish (Data Collection / Ingestion) Bu bosqichda ma'lumotlar turli xil manbalardan to'planadi va markaziy tizimga kiritiladi. Manbalar: Ijtimoiy tarmoqlar, IoT (Internet of Things) sensorlari, log fayllari, tranzaksiya tizimlari, tashqi APIlar.

2. Ma'lumotlarni Saqlash (Data Storage) Yig'ilgan xom (raw) ma'lumotlar tahlil qilinishidan oldin saqlanadigan joy. Texnologiyalar: Hadoop Distributed File System (HDFS) yoki Ma'lumotlar Ko'li (Data Lake) kabi NoSQL bazalari (masalan, Cassandra, MongoDB) yoki bulutli saqlash (masalan, Amazon S3, Google Cloud Storage).Maqsad: Ma'lumotlarni arzon narxda, asl formatida va masshtabli tarzda saqlash. 3. Ma'lumotlarni Tozalash va Tayyorlash (Data Cleaning / Preprocessing) Xom ma'lumotlar ko'pincha tartibsiz, xato, takroriy yoki yetishmaydigan qismlarga ega bo'ladi. Bu bosqichda ma'lumotlar tahlil qilishga tayyorlanadi: • Amallar: • Tozalash (Cleaning): Yo'qolgan qiymatlarni to'ldirish yoki olib tashlash, noto'g'ri (anomal) ma'lumot

4. Ma'lumotlarni Qayta Ishlash va Tahlil (Data Processing / Analysis) Bu asosiy bosqich bo'lib, tayyorlangan ma'lumotlardan foydali bilim olish amalga oshiriladi: • Qayta ishlash: Ma'lumotlar ustida hisoblash operatsiyalari o'tkaziladi (masalan, yig'ish, guruhlash, filtrlash). • Tahlil turlari: • Tavsifiy tahlil (Descriptive): Nima sodir bo'lganini tushunish (hisobotlar). • Bashoratli tahlil (Predictive): Kelajakda nima sodir bo'lishini taxmin qilish (Mashinaviy o'rganish modellarini qo'llash). • Normativ tahlil (Prescriptive): Nima qilish kerakligi haqida tavsiyalar berish. • Texnologiyalar: Apache Spark, MapReduce, mashinaviy o'rganish (Machine Learning) kutubxonalari. 5. Natijalarni Vizualizatsiya va Qo'llash (Visualization & Application)

Big Data bilan ishlash usullari va vositalari Usul (Yondashuv) Inglizcha atamasi Tushuntirish 1. Ma'lumotlar Konchilik (Data Mining) Data Mining Katta ma'lumotlar to'plamida yashirin, foydali va muhim qonuniyatlar, munosabatlar va trendlarni topish. Bunga quyidagilar kiradi: - Assotsiativ Qoidalar Birgalikda tez-tez sodir bo'ladigan hodisalarni aniqlash (Masalan: Xaridor A mahsulotni sotib olsa, B mahsulotni ham sotib olish ehtimoli). - Tasniflash (Classification) Ma'lumotlarni oldindan belgilangan toifalarga ajratish (Masalan: Elektron pochtani "spam" yoki "spam emas" deb ajratish). - Klaster Tahlili (Clustering) O'xshash xususiyatlarga ega ma'lumotlarni guruhlash (Masalan: Mijozlarni xarid xususiyatlariga ko'ra segmentlarga ajratish). - Reg

3. Ma'lumotlarni Birlashtirish Data Fusion & Integration Turli formatdagi va manbalardagi ma'lumotlarni (masalan, matn, audio, sensor signallari) to'plash va tahlil qilish uchun yagona formatga keltirish. Bunga Raqamli Signalga ishlov berish va Tabiiy Tilda ishlov berish (NLP) kiradi. 4. Mashinani O'rganish Machine Learning (ML) Kompyuterlarga aniq dasturlashsiz ma'lumotlardan o'rganish va bashorat qilish imkonini beradigan algoritmlar. Bunga kiradi: - Sun'iy Neyron Tarmoqlari Inson miyasiga taqlid qiluvchi modellar. - Tarmoqni Tahlil qilish Odamlar, qurilmalar yoki tizimlar orasidagi munosabatlarni o'rganish. - Genetik Algoritmlar Evolyutsiya prinsiplariga asoslangan optimallashtirish usullari. 5. Takrorlanishlarni Aniqlash Anomaly Detection Ma'lumotlar

9. Analitik Ma'lumotlarni Vizualizatsiya Qilish Data Visualization Tahlil natijalarini va murakkab ma'lumotlar to'plamini tushunishni osonlashtirish uchun rasmlar, grafiklar, diagrammalar va jadvallar shaklida taqdim etish.6. Bashoratli Tahlil Predictive Analytics Tarixiy ma'lumotlar, statistik modellar va mashinaviy o'rganishdan foydalanib, kelajakdagi ehtimoliy natijalarni yoki tendensiyalarni oldindan taxmin qilish. 7. Simulyatsiya Modellashtirish Simulation Modeling Real tizimlarning ish jarayonini taqlid qiluvchi matematik modellarni yaratish. Bu turli ssenariylarning qanday natija berishini sinab ko'rish imkonini beradi. 8. Mekansal va Statistik Tahlil Spatial & Statistical Analysis Ma'lumotlarning geografik joylashuvi (mekansal) va ularning statistik xusu

3. Data Mining. Data Mining texnologiyalari Data mining(ma'lumotlarni topish ) - biron qonuniyatni topish maqsadidama'lumotlarni intellectual analiz qilishga aytiladi. Isroillik matematik GrigoriyPyatetskiy-Shapiro 1989-yilda bu atamani fanga kiritgan. Data Mining KDD (Knowledge Discovery in Databases - Ma'lumotlar Bazalarida Bilimlarni Kashf Etish) jarayonining asosiy bosqichi hisoblanadi. Texnologiyalar, avvalari noma'lum va foydali bo'lgan qaytaishlanmagan(hom) ma'lumotlarni topish jarayoniga data mining(ma'lumotlarnitopish) deyiladi. Data mining metodlari ma'lumotlar ombori, statistika va sun'iyintellekt tutashgan nuqtada joylashadi.

3. Data Mining. Data Mining texnologiyalari

Foydalaniglan adabiyotlar F.X. Xazratov, J.J. Atamuradov, H.I. Eshonqulov Big data vama`lumotlar tahlili. O quv qo llanma – Buxoro, BuxDU, 2021, 160 b.ʻ ʻ

Купить

Похожие документы
Operatsion tizimlarda journaling file system
I/O scheduling algoritmlari
O‘rta Osiyo kutubxonalarining o‘rganilish masalalari
Funksiyalar va arrow function
Tashkilot xodimlari ma’lumotlarini jamlovchi tizim