Samarqand davlat chet tillar instituti

2.1.Ma'lumotlarni tahlil qilish va ma'lumotlarni boshqarish

Katta ma'lumot olimlari qanday qazib olishni bilishadi foydali ma'lumotlar har xil manbalardan va biznes qarorlar qabul qilish uchun uni tahlil qiling. Qoida tariqasida, tahlilchilar turli xil ma'lumotlarga duch kelishadi, shuning uchun to'g'ri ma'lumotlarni ajratib olish juda muhimdir.
Ma'lumotlarni tahlil qilish kasbi dunyodagi eng jozibali va istiqbolli kasblardan biri hisoblanadi. Yaxshi tahlilchi bo'lish uchun siz dasturlashdan ko'ra, statistika haqida ko'proq bilishingiz kerak. Chunki ish paytida siz muammoni va haqiqiy ma'lumotlarni tasvirlaydigan matematik modellarni tuzishingiz kerak.Ma'lumot tahlilchisi tasodifiy o'zgaruvchilar va ehtimolli modellar bilan ishlaydi, uning vazifasi kutilmagan naqshlarni topishdir. Shuning uchun ehtimollik nazariyasi va matematik statistikani bilish abituriyentlarga qo'yiladigan asosiy talablardan biridir. Yaxshi tahlilchi bo'lish uchun siz nafaqat dasturlash yoki statistikani tushunishingiz, balki mahsulotni mukammal bilishingiz, eng muhimi, farazlarni sinab ko'rishingiz va taklif qila olishingiz kerak. Katta ma'lumotlar, to'g'ri ishlatilganda, mahsulotni qanday yaxshilash yoki muhimligini aniqlash bo'yicha ajoyib tasavvur va g'oyalarni o'z ichiga oladi. Ammo ko'pchilik muammolarning aniq echimi yoki algoritmi yo'q: bu borada ma'lumotlarni tahlil qilish juda ijodiy ish. Vizualizatsiyani to'g'ri tanlay bilish ham muhimdir. Xuddi shu ma'lumotlar tasodifiy fikrlar to'plamiga o'xshab ko'rinishi mumkin yoki to'g'ri bajarilganda juda ko'p qiziqarli narsalarni aytib berishi mumkin.
"VKontakte" da biz katta hajmdagi ma'lumotlar bilan ishlaymiz - kuniga 20 milliarddan ortiq o'lchov. Biz Hadoop klasteri haqida ma'lumot to'playmiz va ishlov berish uchun turli vositalardan foydalanamiz: javoblar oddiy savollar Hive bizga beradi, va Spark, Pandas, Sklearn yanada murakkab tahlillarni o'tkazishga yordam beradi.
Mahsulot va texnik ko'rsatkichlar va A / B tajribalarini tahlil qilish uchun biz o'z jamoamiz tomonidan ishlab chiqilgan ma'lumotlarni yig'ish, yig'ish va vizualizatsiya tizimidan ham foydalanamiz. Ma'lumotlarni tahlil qilish tufayli biz har kuni mahsulotning o'nlab gipotezalarini tekshiramiz va mahsulotni doimiy ravishda takomillashtirishga, xizmatlarimizni yanada qulay va moslashtirilgan qilishga imkon beradigan yuzlab tajribalarni o'tkazamiz.
Masalan, 2015 yilda biz yangiliklar tasmasida foydalanuvchi faolligini tahlil qila boshladik va nimalarni yaxshilash mumkinligini ko'rib chiqdik. Ko'p tadqiqotlardan so'ng biz hamma narsani ancha qulay qilishimiz mumkin degan xulosaga keldik va 2016 yilda har bir foydalanuvchi uchun iloji boricha qiziqarli va foydali bo'lgan "aqlli" tasmani ishga tushirdik.
Biz doimiy ravishda tomoshabinlar faolligini tahlil qilamiz. Qachondir, amalda biz foydalanuvchilar o'z qiziqish doirasini kengaytirmoqchi va yangi mualliflar bilan tanishishni xohlashini aniqladik. Shu sababli, 2017 yilda "Tavsiyalar" bo'limi ishga tushirildi. Va endi, yangi xizmatda o'sib borayotgan faollikni tahlil qilib, biz bu to'g'ri qaror bo'lganini ko'ramiz.