Информация о документе

Цена 2000UZS
Размер 43.9KB
Покупки 0
Дата загрузки 07 Ноябрь 2026
Расширение docx
Раздел Рефераты
Предмет Педагогика

Продавец

Bohodir Jalolov

Big data ular yordamida juda katta ma'lumotlar massividan insonlarga foydali tamonlar

Купить
BIG DATA ULAR YORDAMIDA JUDA KATTA MA'LUMOTLAR MASSIVIDAN INSONLARGA FOYDALI TAMONLAR Re’ja 1. Katta ma'lumotlar tizimlari nima. 2. Big Data nima 3. xususiyatlari, tasnifi, misollar. 4. Katta ma'lumotlar bilan bog'liq muammolar. Katta ma'lumotlar – ingliz. "katta ma'lumotlar". Ushbu atama DBMSga muqobil sifatida paydo bo'ldi va ko'pchilik sanoat gigantlari - IBM, Microsoft, HP, Oracle va boshqalar ushbu kontseptsiyani o'z strategiyalarida qo'llashni boshlaganlarida, IT infratuzilmasining asosiy tendentsiyalaridan biriga aylandi. Katta ma'lumotlar deganda an'anaviy usullar bilan qayta ishlanib bo'lmaydigan ulkan (yuzlab terabaytlar) ma'lumotlar to'plami tushuniladi; ba'zan - bu ma'lumotlarni qayta ishlash vositalari va usullari. Katta ma'lumotlar manbalariga misollar: RFID hodisalari, ijtimoiy tarmoqlardagi xabarlar, meteorologik statistika, mobil uyali aloqa tarmoqlari abonentlarining joylashuvi to'g'risidagi ma'lumotlar va audio / video yozish qurilmalaridan olingan ma'lumotlar. Shu sababli, “katta ma’lumotlar” ishlab chiqarish, sog‘liqni saqlash, davlat boshqaruvi, internet-biznesda – xususan, maqsadli auditoriyani tahlil qilishda keng qo‘llaniladi. Katta ma'lumotlarning belgilari "uch Vs" sifatida belgilanadi: Hajmi - hajm (haqiqatan ham katta); xilma-xillik - bir xillik, to'plam; tezlik - tezlik (juda tez ishlov berishni talab qiladi). Katta ma'lumotlar ko'pincha tuzilmagan va uni qayta ishlash uchun maxsus algoritmlar kerak bo'ladi. Katta ma'lumotlarni tahlil qilish usullari quyidagilarni o'z ichiga oladi:  ("ma'lumotlar qazib olish") - standart usullar bilan olish mumkin bo'lmagan yashirin foydali bilimlarni aniqlash uchun yondashuvlar to'plami;  Kraudsorsing (olomon - "olomon", manba sifatida foydalanish - manba sifatida foydalanish) - majburiy mehnat shartnomasi va munosabatlariga ega bo'lmagan ko'ngillilarning birgalikdagi sa'y-harakatlari bilan muhim vazifalarni hal qilish, AT vositalaridan foydalangan holda faoliyatni muvofiqlashtirish;  Data Fusion & Integration ("ma'lumotlarni aralashtirish va kiritish") - chuqur tahlilning bir qismi sifatida bir nechta manbalarni ulash usullari to'plami;  Mashinani o rganish (“mashinalarni o rganish”) - statistik tahlildan ʻ ʻ foydalanish va asosiy modellar asosida prognozlarni olish usullarini o rganuvchi sun iy intellekt tadqiqotining kichik bo limi; ʻ ʼ ʻ  naqshni aniqlash (masalan, kamera yoki videokameraning vizörida yuzni aniqlash);  fazoviy tahlil - ma'lumotlarni qurish uchun topologiya, geometriya va geografiyadan foydalanish;  ma'lumotlarni vizualizatsiya qilish - natijalarni kuzatish va keyingi monitoring uchun asos yaratish uchun interfaol vositalar va animatsiyalardan foydalangan holda illyustratsiya va diagrammalar ko'rinishidagi tahliliy ma'lumotlarni chiqarish. Axborotni saqlash va tahlil qilish ko'p sonli yuqori samarali serverlarda amalga oshiriladi. Asosiy texnologiya Hadoop bo'lib, u ochiq manba hisoblanadi. Axborot miqdori faqat vaqt o ' tishi bilan ortib borishi sababli , qiyinchilik ma ' lumotlarni olishda emas , balki uni maksimal foyda bilan qayta ishlashda . Umuman olganda, Big Data bilan ishlash jarayoni quyidagilarni o'z ichiga oladi: ma'lumot to'plash, uni tizimlashtirish, tushunchalar va kontekstlarni yaratish va harakatlar bo'yicha tavsiyalar ishlab chiqish. Birinchi bosqichdan oldin ham, ishning maqsadini aniq belgilash muhimdir: ma'lumotlar aniq nima uchun kerak, masalan, mahsulotning maqsadli auditoriyasini aniqlash. Aks holda, ulardan qanday qilib aniq foydalanish mumkinligini tushunmasdan ko'p ma'lumotlarni olish xavfi mavjud. Biz muntazam so'zlar va ta'riflarga duch kelamiz, ularning ma'nosi bizga intuitiv ravishda tushunarli bo'lib tuyuladi, lekin bizda bu narsa nima va u qanday ishlashi haqida aniq tasavvurga ega emasmiz. Ushbu tushunchalardan biri Big Data bo'lib, rus tilida siz ba'zan so'zma-so'z tarjimasini topishingiz mumkin - "katta ma'lumotlar", lekin ko'pincha odamlar shunday deb aytadilar va yozadilar: Big Data. Ehtimol, bu iborani hamma eshitgan yoki hech bo'lmaganda Internetda uchratgan va bu oddiy bo'lib tuyuladi, ammo aniq nimani anglatishini raqamli dunyoning nozikliklaridan uzoqda bo'lgan ofis gumanistlari har doim ham tushunmaydi. Eng keng foydalanuvchilarning miyasidagi ushbu bo'shliqni to'ldirishga qaratilgan ajoyib urinish - bizning sevimli mualliflarimizdan biri Bernard Marrning maqolasi. “Big Data nima? Hamma uchun juda oddiy tushuntirish" . Ta'lim va faoliyat sohasidan qat'i nazar, hamma uchun ushbu hodisaning asosiy g'oyalarini tushuntirish uchun yagona jargonsiz. Darhaqiqat, so'nggi bir necha yil davomida biz katta ma'lumotlar bilan to'lib- toshgan dunyoda yashayapmiz, ammo biz bu nima ekanligini tushunishda chalkashishda davom etamiz. Bu qisman Big Data kontseptsiyasining o'zi doimiy ravishda o'zgartirilayotgani va qayta ko'rib chiqilayotgani bilan bog'liq, chunki yuqori texnologiyalar olami va katta hajmdagi ma'lumotlarni qayta ishlash juda tez o'zgarib bormoqda, shu jumladan tobora ko'proq yangi variantlar. Va bu ma'lumotlarning hajmi doimiy ravishda o'sib bormoqda. Hozirda Big Dataga asoslangan loyihalar yordam beradi: - Kasalliklarni davolash va saraton kasalligini oldini olish . Katta ma'lumotlarga asoslangan tibbiyot juda ko'p miqdordagi tibbiy yozuvlar va tasvirlarni tahlil qiladi, bu juda erta tashxis qo'yish imkonini beradi va yangi davolash usullarini yaratishga yordam beradi. - Ochlik bilan kurashing . Qishloq xo‘jaligi haqiqiy Big Data inqilobini boshdan kechirmoqda, bu esa resurslardan ekotizimga minimal aralashuvlar bilan maksimal rentabellikga erishish va mashina va uskunalardan foydalanishni optimallashtirish imkonini beradi. - Uzoq sayyoralarni kashf eting . Masalan, NASA katta hajmdagi ma'lumotlarni tahlil qiladi va ularning yordami bilan uzoq olamlarga bo'lajak missiyalarning modellarini yaratadi. - Favqulodda vaziyatlarni bashorat qilish turli tabiat va mumkin bo'lgan zararni minimallashtirish. Bir nechta datchiklardan olingan ma'lumotlar keyingi zilzila qayerda va qachon sodir bo'lishini yoki favqulodda vaziyatda odamlar qanday munosabatda bo'lishini oldindan aytib berishi mumkin, bu esa omon qolish imkoniyatini oshiradi. - Jinoyatning oldini olish resurslarni yanada samaraliroq taqsimlash va ularni eng kerakli joyga yo‘naltirish imkonini beruvchi texnologiyalardan foydalanish orqali. Big Data oddiy odamning hayotini oson va qulayroq qiladi - bu onlayn xarid qilish, sayohatni rejalashtirish va metropolda navigatsiya. Aviachiptalarni sotib olish uchun eng yaxshi vaqtni tanlash va qaysi film yoki serialni tomosha qilishni tanlash Big Data ishi tufayli ancha osonlashdi. U qanday ishlaydi? Big Data printsipi asosida ishlaydi , siz biror narsa haqida qanchalik ko ' p bilsangiz , kelajakda nima bo ' lishini shunchalik aniqroq bashorat qila olasiz . Shaxsiy ma'lumotlarni va ular o'rtasidagi munosabatlarni taqqoslash (biz katta hajmdagi ma'lumotlar va ular orasidagi aql bovar qilmaydigan darajada katta miqdordagi mumkin bo'lgan ulanishlar haqida gapiramiz) ilgari yashiringan naqshlarni ochib beradi. Bu muammoning ichiga qarash va oxir-oqibat u yoki bu jarayonni qanday boshqarishimiz mumkinligini tushunish imkonini beradi. Ko ' pincha , katta hajmdagi ma ' lumotlarni qayta ishlash jarayoni to ' plangan ma ' lumotlarga asoslangan modellarni qurish va ishlaydigan simulyatsiyalarni o ' z ichiga oladi , bunda asosiy sozlamalar doimiy ravishda o ' zgarib turadi , shu bilan birga tizim har safar " sozlama o ' zgarishi " mumkin bo ' lgan natijaga qanday ta ' sir qilishini nazorat qiladi . Bu jarayon to'liq avtomatlashtirilgan, chunki biz millionlab simulyatsiyalarni tahlil qilish, naqsh (kerakli sxema) topilmaguncha yoki "ma'rifat" paydo bo'lgunga qadar barcha mumkin bo'lgan variantlarni saralash haqida bormoqda, bu esa hamma narsa boshlangan muammoni hal qilishga yordam beradi. Bizga tanish bo ' lgan ob ' ektlar va hisob - kitoblar dunyosidan farqli o ' laroq , ma ' lumotlar tuzilmagan shaklda qabul qilinadi , ya ' ni uni bizga , odamlarga tanish bo ' lgan hujayralar va ustunlar bilan jadvallarga surish qiyin . Katta hajmdagi ma'lumotlar tasvir yoki video sifatida uzatiladi: sun'iy yo'ldosh tasvirlaridan tortib Instagram yoki Facebook-da joylashtirgan selfilargacha - xuddi elektron pochta va messenjer yozuvlari yoki telefon qo'ng'iroqlari kabi. Ushbu cheksiz va rang - barang ma ' lumotlar oqimiga amaliy ma ' no berish uchun Big Data ko ' pincha sun ' iy intellekt va mashinani o ' rganishni o ' z ichiga olgan eng ilg ' or tahlil texnologiyalaridan foydalanadi ( bu kompyuterdagi dastur boshqa dasturlarni o ' rgatadi ). Kompyuterlarning o ' zlari u yoki bu ma ' lumotlar nimani anglatishini aniqlashni o ' rganadilar - masalan , tasvirlarni , tilni tanib olish - va ular buni odamlarga qaraganda tezroq bajarishlari mumkin . SHAXSIY MA'LUMOTLARNING MAXFIYLIGI. Big Data bizning shaxsiy hayotimiz haqida juda ko'p ma'lumot to'playdi. Biz sir saqlamoqchi bo'lgan juda ko'p ma'lumotlar mavjud. XAVFSIZLIK. Agar biz barcha shaxsiy ma'lumotlarimizni o'zimiz uchun foydali bo'lgan biron bir maqsad uchun mashinaga o'tkazishda hech qanday yomon narsa yo'q deb qaror qilsak ham, ma'lumotlarimiz xavfsiz joyda saqlanganiga amin bo'lamizmi? Bunga kim va qanday kafolat bera olamiz? DISKRIMINA. Hamma narsa ma'lum bo'lsa, Big Data tufayli odamlarni ular haqida ma'lum bo'lgan narsalarga asoslanib kamsitish mumkinmi? Banklar sizning kredit tarixingizdan foydalanadilar va sug'urta kompaniyalari siz haqingizda bilgan narsalarga asoslanib, avtoulov sug'urtasini baholaydilar. Bu qanchalik uzoqqa borishi mumkin? Taxmin qilish mumkinki, xavflarni minimallashtirish uchun kompaniyalar, davlat idoralari va hatto jismoniy shaxslar biz haqimizda bilib olishlari mumkin bo'lgan narsalaridan foydalanadilar va negadir resurslar va ma'lumotlarga kirishimizni cheklaydilar. Barcha afzalliklari bilan, biz ushbu tashvishlarning barchasi Big Dataning ajralmas qismi ekanligini tan olishimiz kerak. Yaqin vaqtgacha olimlar javoblar ustida bosh qotirardilar, ammo endi to‘lqin Big Data afzalliklaridan o‘z maqsadlari uchun foydalanmoqchi bo‘lgan biznesga yetib borgan payt keldi. Va bu halokatli oqibatlarga olib kelishi mumkin. Katta ma'lumotlar (yoki katta ma'lumotlar) - bu katta hajmdagi tuzilgan yoki tuzilmagan ma'lumotlar bilan ishlash usullari to'plami. Katta ma'lumotlar bo'yicha mutaxassislar vizual, inson sezadigan natijalarni olish uchun ularni qayta ishlash va tahlil qilish bilan shug'ullanadilar. Look At Me professionallar bilan suhbatlashdi va Rossiyada katta ma'lumotlarni qayta ishlash bilan bog'liq vaziyat qanday ekanligini, bu sohada ishlashni istaganlar uchun qayerda va nimani o'rganish yaxshiroq ekanligini aniqladi. Agar biror kishi Big Data sohasida ma ' lumotlarni tahlil qilish yoki IT konsaltingi bilan shug ' ullanmoqchi bo ' lsa , unda birinchi navbatda yaxshi matematik ma ' lumotga ega bo ' lgan matematik yoki texnik ta ' lim muhim ahamiyatga ega . SAS , Hadoop , R tili yoki IBM yechimlari kabi maxsus texnologiyalarni o ' zlashtirish ham foydalidir . Bundan tashqari , siz Big Data uchun ilovalarga faol qiziqishingiz kerak - masalan , bank yoki mijozlarning hayot aylanishini boshqarishda yaxshilangan kredit skoring uchun ulardan qanday foydalanish mumkin . Bu va boshqa bilimlarni mavjud manbalardan olish mumkin: masalan, Coursera va Big Data University. Shuningdek, Pensilvaniya shtatidagi Uorton universitetida Mijozlarni tahlil qilish tashabbusi mavjud bo'lib, u erda juda ko'p qiziqarli materiallar nashr etilgan. Bizning sohamizda ishlashni xohlaydiganlar uchun jiddiy muammo - bu Big Data haqida aniq ma'lumotlarning etishmasligi. Siz kitob do'koniga yoki biron bir veb-saytga borib, masalan, banklardagi Big Data texnologiyalarining barcha ilovalari bo'yicha to'liq holatlar to'plamini olishingiz mumkin emas. Bunday qo'llanmalar yo'q. Ma'lumotlarning bir qismi kitoblarda topiladi, boshqa qismi konferentsiyalarda to'planadi, ba'zilari esa o'zingiz hal qilishingiz kerak. Yana bir muammo shundaki, tahlilchilar raqamlar olamida qulay, lekin biznesda har doim ham qulay emas. Bu odamlar ko'pincha introvert, muloqot qilishda qiyinchiliklarga duch kelishadi va shuning uchun tadqiqot natijalarini mijozlarga ishonchli tarzda etkazish qiyin. Ushbu ko'nikmalarni rivojlantirish uchun men "Piramida printsipi", "Diagrammalar tilida gapiring" kabi kitoblarni tavsiya qilaman. Ular taqdimot ko'nikmalarini rivojlantirishga yordam beradi, fikrlaringizni qisqa va aniq ifodalaydi. Bu Oliy Iqtisodiyot maktabida o‘qiyotganimda turli keys chempionatlarida qatnashishimga katta yordam berdi. Keys chempionatlari talabalar uchun intellektual musobaqalar bo'lib, unda siz biznes muammolarini o'rganishingiz va ularga yechim taklif qilishingiz kerak. Ular ikkita shaklda bo'ladi: McKinsey, BCG, Accenture kabi konsalting firmasi ishi chempionatlari va Changellenge kabi mustaqil biznes chempionatlari. Ularda qatnashar ekanman, men murakkab muammolarni ko‘rish va yechishni o‘rgandim – muammoni aniqlash va uni tuzishdan tortib, uni hal qilish bo‘yicha tavsiyalarni himoya qilishgacha. Rossiyada yirik kompaniyalar - banklar, uyali aloqa operatorlari va boshqalar katta ma'lumotlarni tahlil qilishga muhtoj, shuning uchun mamlakatimizda bu sohada ishlashni xohlaydiganlar uchun istiqbollar mavjud. To‘g‘ri, hozirda ko‘plab loyihalar integratsiya, ya’ni xorijiy ishlanmalar yoki ochiq kodli texnologiyalar asosida amalga oshirilmoqda. Bunday loyihalarda printsipial jihatdan yangi yondashuvlar va texnologiyalar yaratilmaydi, aksincha, mavjud ishlanmalar moslashtiriladi. Acronis-da biz boshqa yo'lni tanladik va mavjud alternativalarni tahlil qilib, o'z rivojlanishimizga sarmoya kiritishga qaror qildik, natijada katta ma'lumotlarni ishonchli saqlash tizimi, masalan, Amazon S3-dan kam bo'lmagan, ammo ishonchli ishlaydi. va samaraliroq va ancha kichikroq miqyosda. Yirik Internet-kompaniyalar ham katta ma'lumotlar bo'yicha o'zlarining ishlanmalariga ega, ammo ular tashqi mijozlar ehtiyojlarini qondirishdan ko'ra ko'proq ichki ehtiyojlarga qaratilgan. Katta ma'lumotlarni qayta ishlash sohasiga ta'sir qiladigan tendentsiyalar va iqtisodiy kuchlarni tushunish muhimdir. Buning uchun siz ko'p o'qishingiz, IT- sanoat sohasidagi nufuzli mutaxassislarning nutqlarini tinglashingiz, tematik konferentsiyalarda qatnashishingiz kerak. Endi deyarli har bir konferentsiyada Big Data haqida bo'lim bor, lekin ularning barchasi bu haqda boshqa tomondan gapiradi: texnologiya, biznes yoki marketing nuqtai nazaridan. Siz ushbu mavzu bo'yicha loyihalari mavjud bo'lgan kompaniyada loyiha ishiga yoki amaliyotga borishingiz mumkin. Agar siz o'z qobiliyatingizga ishonchingiz komil bo'lsa, Big Data sohasida startap tashkil etish hali ham kech emas. Bozor bilan doimiy aloqada bo'lmasdan yangi rivojlanish talab qilinmaslik xavfini tug'diradi To'g'ri, siz yangi mahsulot uchun mas'ul bo'lganingizda, bozor tahlili va mijozlar va ularning ehtiyojlari haqida ko'p narsalarni biladigan potentsial mijozlar, hamkorlar, professional tahlilchilar bilan muloqot qilish uchun ko'p vaqt sarflanadi. Bozor bilan doimiy aloqada bo'lmasa, yangi rivojlanish talab qilinmaslik xavfini tug'diradi. Har doim juda ko'p noaniqliklar mavjud: kim birinchi foydalanuvchilar (erta qabul qiluvchilar) bo'lishini, ular uchun nima muhimligini va keyin qanday qilib ommaviy auditoriyani jalb qilishni tushunishingiz kerak. Ikkinchi muhim vazifa - ishlab chiquvchilarga yakuniy mahsulot haqida aniq va yaxlit tasavvurni shakllantirish va etkazish, ularni bunday sharoitlarda ishlashga undash uchun, ba'zi talablar hali ham o'zgarishi mumkin va ustuvorliklar birinchi mijozlarning fikr-mulohazalariga bog'liq. Shu sababli, bir tomondan mijozlarning, boshqa tomondan ishlab chiquvchilarning umidlarini boshqarish muhim vazifadir. Shunday qilib, ularning hech biri qiziqishni yo'qotmaydi va loyihani oxiriga etkazmaydi. Birinchi muvaffaqiyatli loyihadan so'ng, bu osonlashadi va asosiy vazifa yangi biznes uchun to'g'ri o'sish modelini topish bo'ladi. Katta ma'lumotlarga taalluqli ko'p narsalar, uni tahlil qilish uchun qo'llaniladigan yondashuvlar, aslida, uzoq vaqtdan beri mavjud. Masalan, kuzatuv kameralaridan olingan tasvirlarni qayta ishlash, biz bitta rasm haqida emas, balki ma'lumotlar oqimi haqida gapirganda. Yoki navigatsiya robotlari. Bularning barchasi o'nlab yillar davomida mavjud edi, endi ma'lumotlarni qayta ishlash vazifalari juda ko'p odamlar va g'oyalarga ta'sir qildi. Ko'pgina ishlab chiquvchilar statik ob'ektlar bilan ishlashga va holatlar nuqtai nazaridan fikrlashga odatlangan. Katta ma'lumotlarda paradigma boshqacha. Siz uzluksiz ma'lumotlar oqimi bilan ishlashga qodir bo'lishingiz kerak va bu qiziqarli vazifadir. Bu tobora ko'proq hududlarga ta'sir qiladi. Bizning hayotimizda tobora ko'proq apparat va dasturiy ta'minot katta hajmdagi ma'lumotlarni ishlab chiqarishni boshladi - masalan, "Internet narsalar". Narsalar allaqachon katta axborot oqimlarini keltirib chiqarmoqda. Potok politsiya tizimi barcha kameralardan ma'lumot yuboradi va bu ma'lumotlardan foydalangan holda avtomobillarni topish imkonini beradi. Ko'proq fitnes bilakuzuklar, GPS-trekerlar va inson va biznesning vazifalariga xizmat qiladigan boshqa narsalar modaga kirib bormoqda. Moskva Axborotlashtirish departamenti ko'p sonli ma'lumotlar tahlilchilarni jalb qilmoqda, chunki odamlar bo'yicha juda ko'p statistik ma'lumotlar mavjud va ular ko'p mezonlardir (ya'ni har bir shaxs, har bir guruh haqida juda katta ma'lumotlarga ko'ra statistik ma'lumotlar yig'iladi. mezonlar soni). Bu ma'lumotlardan qonuniyat va tendentsiyalarni topish kerak. Bunday vazifalar uchun IT ma'lumotiga ega matematiklar kerak. Chunki pirovardida ma’lumotlar tuzilgan DBMSda saqlanadi va siz unga kirish va ma’lumot olish imkoniyatiga ega bo’lishingiz kerak. Ilgari biz uni saqlash uchun joy yo'qligi va uni uzatish tarmoqlari yo'qligi sababli oddiy sabablarga ko'ra katta ma'lumotlarni vazifa deb hisoblamadik. Ushbu imkoniyatlar paydo bo'lganda, ma'lumotlar darhol ularga taqdim etilgan butun hajmni to'ldirdi. Ammo o'tkazish qobiliyati va ma'lumotlarni saqlash hajmi qanchalik kengaytirilmasin, har doim manbalar mavjud bo'ladi, masalan, fizika tajribalari, qanotlarni tartibga solishni modellashtirish bo'yicha tajribalar, biz etkaza oladigandan ko'ra ko'proq ma'lumot beradi. Mur qonuniga ko'ra, zamonaviy parallel hisoblash tizimlarining unumdorligi va ma'lumotlarni uzatish tarmoqlarining tezligi doimiy ravishda oshib bormoqda. Biroq, ma'lumotlar saqlash vositalaridan (qattiq disk va boshqa turdagi xotiralar) ma'lumotlarni tezda saqlash va olish imkoniyatiga ega bo'lishi kerak va bu katta ma'lumotlarni qayta ishlashda yana bir qiyinchilik. "Katta ma'lumotlar" atamasi bugungi kunda taniqli bo'lishi mumkin, ammo u aslida nimani anglatishi haqida hali ham bir oz chalkashliklar mavjud. Darhaqiqat, kontseptsiya doimiy ravishda rivojlanib boradi va qayta ta'riflanadi, chunki u ko'plab davom etayotgan raqamli transformatsiya to'lqinlari, jumladan sun'iy intellekt, ma'lumotlar fanlari va narsalar interneti ortidagi harakatlantiruvchi kuch bo'lib qolmoqda. Ammo Big-Data texnologiyasi nima va u bizning dunyomizni qanday o'zgartirmoqda? Keling, Big Data texnologiyasining mohiyatini va oddiy so'zlar bilan nimani anglatishini tushunishga harakat qilaylik. Katta ma'lumotlarning ajoyib o'sishi Bularning barchasi raqamli asrning boshidan beri biz yaratgan ma'lumotlar miqdoridagi "portlash" bilan boshlandi. Bu ko'p jihatdan kompyuterlar, Internet va atrofimizdagi dunyodan ma'lumotlarni "olib tashlash" mumkin bo'lgan texnologiyalarning rivojlanishi bilan bog'liq. Ma'lumotlarning o'zi yangi ixtiro emas. Kompyuterlar va ma'lumotlar bazalari davridan oldin ham biz qog'oz tranzaksiya yozuvlari, mijoz yozuvlari va ma'lumotlar bo'lgan arxiv fayllaridan foydalanganmiz. Kompyuterlar, ayniqsa elektron jadvallar va ma'lumotlar bazalari bizga ma'lumotlarni keng miqyosda saqlash va tartibga solishni osonlashtirdi. To'satdan sichqonchani bosish orqali ma'lumotlar paydo bo'ladi. Biroq, biz asl jadvallar va ma'lumotlar bazalaridan uzoq yo'lni bosib o'tdik. Bugungi kunda har ikki kunda biz boshidan 2000 yilgacha olganimizdek ko'p ma'lumot yaratamiz. To'g'ri, har ikki kunda. Va biz yaratadigan ma'lumotlar miqdori osmonga ko'tarilishda davom etmoqda; 2020 yilga kelib mavjud raqamli ma'lumotlar miqdori taxminan 5 zettabaytdan 20 zettabaytgacha oshadi. Hozirgi kunda deyarli har bir harakatimiz o'z izini qoldiradi. Biz har safar Internetga kirganimizda, qidiruv tizimi bilan jihozlangan smartfonlarimizni olib yurganimizda, tanishlarimiz bilan ijtimoiy tarmoqlar yoki chatlar orqali gaplashganimizda va hokazo ma lumotlarni hosil qilamiz. Bundan tashqari, ʼ mashina tomonidan yaratilgan ma'lumotlarning miqdori ham tez o'sib bormoqda. Ma'lumotlar bizning aqlli uy qurilmalarimiz bir-biri bilan yoki ularning uy serverlari bilan aloqa qilganda yaratiladi va almashiladi. Zavod va fabrikalardagi sanoat uskunalari tobora ko'proq ma'lumotlarni to'playdigan va uzatuvchi sensorlar bilan jihozlangan. "Katta ma'lumotlar" atamasi ushbu ma'lumotlarning barchasini to'plash va ulardan keng doiradagi, shu jumladan biznesda o'z foydamiz uchun foydalanish qobiliyatini anglatadi. Big Data texnologiyasi qanday ishlaydi? Katta ma'lumotlar printsipi asosida ishlaydi: ma'lum bir mavzu yoki hodisa haqida qanchalik ko'p bilsangiz, yangi tushunchaga shunchalik ishonchli tarzda erisha olasiz va kelajakda nima bo'lishini bashorat qila olasiz. Ko'proq ma'lumot nuqtalarini taqqoslash orqali ilgari yashirin bo'lgan munosabatlar paydo bo'ladi va bu munosabatlar bizga o'rganish va yaxshiroq qarorlar qabul qilish imkonini beradi. Bu ko'pincha biz to'plashimiz mumkin bo'lgan ma'lumotlardan modellarni yaratish va keyin har safar ma'lumotlar nuqtalarining qiymatlarini o'zgartiradigan va ularning natijalarimizga qanday ta'sir qilishini ko'radigan simulyatsiyani o'z ichiga olgan jarayon orqali amalga oshiriladi. Bu jarayon avtomatlashtirilgan – zamonaviy analitik texnologiyalar millionlab ushbu simulyatsiyalarni amalga oshiradi va ular ustida ishlayotgan muammoni hal qilishga yordam beradigan model yoki g‘oyani topmaguncha barcha mumkin bo‘lgan o‘zgaruvchilarni o‘zgartiradi. Yaqin vaqtgacha ma'lumotlar faqat elektron jadvallar yoki ma'lumotlar bazalari bilan cheklangan edi - va hamma narsa juda tartibli va tartibli edi. Qator va ustunlarga osonlikcha tartibga solinib bo'lmaydigan har qanday narsa ishlash uchun juda murakkab hisoblangan va e'tiborga olinmagan. Biroq, saqlash va tahlil qilish sohasidagi taraqqiyot biz har xil turdagi katta hajmdagi ma'lumotlarni qo'lga kiritishimiz, saqlashimiz va qayta ishlashimiz mumkinligini anglatadi. Natijada, bugungi kunda "ma'lumotlar" ma'lumotlar bazasidan tortib fotosuratlar, videolar, ovozli yozuvlar, yozma matnlar va sensor ma'lumotlarigacha bo'lgan hamma narsani anglatishi mumkin. Bu chalkash ma'lumotlarni tushunish uchun Big Data-ga asoslangan loyihalar ko'pincha sun'iy intellekt va mashinani o'rganishdan foydalangan holda ilg'or tahlillardan foydalanadi. Kompyuterlarga ma'lum ma'lumotlarning nima ekanligini aniqlashni o'rgatish orqali, masalan, naqshni aniqlash yoki tabiiy tilni qayta ishlash orqali, biz ularga naqshlarni o'zimizdan ko'ra tezroq va ishonchliroq aniqlashga o'rgatishimiz mumkin. Big Data qanday ishlatiladi? Sensor ma'lumotlari, matn, ovoz, fotosurat va video ma'lumotlari haqidagi doimiy ravishda o'sib borayotgan ma'lumotlar oqimi biz ma'lumotlardan bir necha yil oldin tasavvur qilib bo'lmaydigan usullarda foydalanishimiz mumkinligini anglatadi. Bu deyarli har bir sohada ish dunyosiga inqilobiy o'zgarishlar olib keladi. Bugungi kunda kompaniyalar mijozlarning qaysi toifalari va qachon sotib olishni xohlashlarini ajoyib aniqlik bilan bashorat qilishlari mumkin. Big Data, shuningdek, kompaniyalarga o'z faoliyatini ancha samarali bajarishga yordam beradi. Hatto biznesdan tashqarida ham Big Data loyihalari allaqachon dunyomizni turli yo'llar bilan o'zgartirishga yordam bermoqda:  Sog'liqni saqlashni yaxshilash - Ma'lumotlarga asoslangan tibbiyot kasalliklarni erta bosqichda aniqlashga va yangi dori vositalarini ishlab chiqishga yordam beradigan modellar uchun katta hajmdagi tibbiy ma'lumotlar va tasvirlarni tahlil qilishga qodir.  Tabiiy va texnogen ofatlarni bashorat qilish va ularga javob berish. Sensor ma'lumotlari zilzilalar sodir bo'lishi mumkinligini taxmin qilish uchun tahlil qilinishi mumkin va odamlarning xatti-harakatlari tashkilotlarga omon qolganlarga yordam berishga yordam beradigan maslahatlar beradi. Katta ma'lumotlar texnologiyasi butun dunyo bo'ylab urush zonalaridan qochqinlar oqimini kuzatish va himoya qilish uchun ham qo'llaniladi.  Jinoyatchilikning oldini olish. Politsiya kuchlari resurslardan yaxshiroq foydalanish va kerak bo'lganda qarshi choralar ko'rish uchun o'zlarining razvedka va jamoat mulki ma'lumotlarini o'z ichiga olgan ma'lumotlarga asoslangan strategiyalardan tobora ko'proq foydalanmoqda. Big-Data texnologiyasi haqidagi eng yaxshi kitoblar  Hamma aldaydi. Qidiruv mexanizmlari, Big Data va Internet siz haqingizda hamma narsani biladi.  BIG DATA. Barcha texnologiya bir kitobda.  baxt sanoati. Qanday qilib Big Data va yangi texnologiyalar tovarlar va xizmatlarga hissiyot qo'shishga yordam beradi.  Analitikada inqilob. Katta ma'lumotlar davrida operatsion tahlillar yordamida biznesingizni qanday yaxshilash mumkin. Katta ma'lumotlar bilan bog'liq muammolar Katta ma'lumotlar bizga misli ko'rilmagan tushunchalar va imkoniyatlar beradi, lekin u hal qilinishi kerak bo'lgan muammolar va savollarni ham keltirib chiqaradi:  Ma'lumotlarning maxfiyligi - Biz bugun ishlab chiqaradigan katta ma'lumotlar shaxsiy hayotimiz haqida ko'plab ma'lumotlarni o'z ichiga oladi, biz maxfiy saqlashga haqlimiz. Ko'pincha bizdan oshkor qiladigan shaxsiy ma'lumotlar miqdori va Big Datadan foydalanishga asoslangan ilovalar va xizmatlar taklif qiladigan qulaylik o'rtasidagi muvozanatni saqlashimiz so'raladi.  Ma'lumotni himoya qilish - Agar biz ma'lum bir maqsadda ma'lumotlarimizga ega bo'lishimiz yaxshi deb o'ylasak ham, ularga ma'lumotlarimizni xavfsiz va xavfsiz saqlashiga ishonishimiz mumkinmi?  Ma'lumotlarni diskriminatsiya qilish - barcha ma'lumotlar ma'lum bo'lganda, odamlarni shaxsiy hayotidan olingan ma'lumotlar asosida kamsitish qabul qilinadimi? Biz allaqachon kredit ballaridan kimdan qarz olishi mumkinligini aniqlash uchun foydalanamiz va sug'urta ham ma'lumotlarga asoslangan. Biz batafsilroq tahlil qilish va baholashni kutishimiz kerak, ammo bu resurslari kamroq va ma'lumotlarga kirish imkoniyati cheklanganlarning hayotini murakkablashtirmasligiga e'tibor berish kerak. Ushbu vazifalarni bajarish Big Dataning muhim qismidir va ular bunday ma'lumotlardan foydalanmoqchi bo'lgan tashkilotlar tomonidan hal qilinishi kerak. Aks holda, biznes nafaqat obro'si, balki qonuniy va moliyaviy jihatdan ham zaif bo'lib qolishi mumkin. Kelajakka qarash Ma'lumotlar bizning dunyomiz va hayotimizni misli ko'rilmagan tezlikda o'zgartirmoqda. Agar Big Data bugun bularning barchasiga qodir bo'lsa, ertaga nimaga qodir bo'lishini tasavvur qiling. Biz uchun mavjud bo'lgan ma'lumotlar miqdori oshadi va analitik texnologiyalar yanada rivojlangan bo'ladi. Korxonalar uchun Big Datani qo'llash qobiliyati kelgusi yillarda tobora muhim ahamiyat kasb etadi. Faqat ma'lumotlarga strategik aktiv sifatida qaraydigan kompaniyalar omon qoladi va rivojlanadi. Ushbu inqilobni e'tiborsiz qoldiradiganlar ortda qolish xavfi bor.

Big data ular yordamida juda katta ma'lumotlar massividan insonlarga foydali tamonlar

Купить