مواد
- سٹرکچرڈ ڈیٹا کیا ہے؟
- غیر ساختہ ڈیٹا کیا ہے؟
- کوئی کیڑے نہیں ، کوئی تناؤ نہیں - آپ کی زندگی کو تباہ کیے بغیر زندگی کو تبدیل کرنے والے سافٹ ویئر تخلیق کرنے کے لئے مرحلہ وار گائیڈ
- درمیان میں گرنا: نیم ساختہ ڈیٹا
- کیا غیر ساختہ ڈیٹا کو اسٹرکچرڈ ڈیٹا میں تبدیل کیا جاسکتا ہے؟
ماخذ: Monsitj / iStockphoto
ٹیکا وے:
ساخت ، غیر ساختہ اور نیم ساختہ ڈیٹا کے بارے میں جانیں۔
تاریخی طور پر ، اعداد و شمار کے تجزیہ کار صرف ایک قسم کے ڈیٹا: تشکیل شدہ اعداد و شمار سے ڈکرپٹ کرنے اور معلومات نکالنے کے قابل تھے۔ اس طرح کے اعداد و شمار آسانی سے اس کے صاف نمونوں کی وجہ سے تلاش کیے جاسکتے تھے ، لیکن کل دستیاب اعداد و شمار کی معمولی فیصد کی نمائندگی کرتے ہیں۔
غیر ساختہ اعداد و شمار میں ویڈیو ، آڈیو ، اور سوشل میڈیا اور موبائل آلات سے آنے والا ڈیٹا شامل ہے۔ یہ ، نیچے ، خام معلومات کا سب سے بڑا ذخیرہ دستیاب تھا ، پھر بھی کوئی اس وسائل کو قابل اعتماد طور پر ٹیپ نہیں کرسکا۔
تاہم ، چیزیں تبدیل ہوگئی ہیں کیونکہ اسٹوریج اور اعلی پروسیسنگ کی صلاحیتوں کی بڑھتی ہوئی دستیابی نے غیر ساختہ اعداد و شمار کے تجزیات کو جنم دیا ہے - ایک نئی ، اور اس طرح نالائق ، ٹکنالوجی کی شکل۔ بہتر کاروباری ذہانت اس موقع سے بھرپور فائدہ اٹھا رہی ہے ، اور اس ضمن میں معلومات کے بظاہر نہ ختم ہونے والے سونے کی مائن تک رسائی کے ل to مجموعی ڈھانچے اور غیر منظم ڈیٹا تجزیات کے لئے خاطر خواہ سرمایہ کاری کی جارہی ہے۔
آئیے اپنے دونوں اختلافات کو سمجھنے کے ل differences ان دونوں ڈیٹا فارمیٹس پر ایک نظر ڈالیں ، اور تمام اعداد و شمار کے تجزیہ کاروں کے لئے مستقبل کیا ہے۔
سٹرکچرڈ ڈیٹا کیا ہے؟
سٹرکچرڈ ڈیٹا انسان یا مشین سے تیار شدہ اور انتہائی منظم معلومات ہے جو قطار ڈیٹا بیس ڈھانچے میں آسانی سے محفوظ کی جاسکتی ہے جس کو رشتہ دار ڈیٹا بیس (RDBs) کہا جاتا ہے۔ یہ ایسی کوئی چیز ہے جو ایک شکل میں موجود ہے جسے بعد میں تجزیہ کرنے کے لئے آر ڈی بی ڈھانچے میں آسانی سے گرفت ، ذخیرہ اور منظم کیا جاسکتا ہے۔ (ڈیٹا بیس کے بارے میں مزید معلومات کے ل our ، ہمارے ڈیٹا بیس کا تعارف چیک کریں۔)
مثالوں میں زپ کوڈز ، فون نمبرز اور صارف کی آبادیات جیسے عمر یا جنس شامل ہیں۔ ان ڈیٹا بیس میں پائے جانے والے اعداد و شمار کو ایکسل اسپریڈشیٹ کے اندر سٹرکچرڈ کوئوری لینگوئج (SQL) یا VLOOKUP فنکشنز سے استفسار کیا جاسکتا ہے۔ مختلف شعبوں میں پائے جانے والے اعداد و شمار کو تیزی سے تلاش کرنے کے ل Al الگورتھم بھی بنایا جاسکتا ہے جن کی اشاریہ جات ، یا ان کے عددی اور حروف تہجی اعداد و شمار کا استعمال کرتے ہیں۔ تاہم ، تمام اعداد و شمار کی قطعیت فیلڈ کی قسم اور نام کے لحاظ سے کی گئی ہے ، اور اس کو ذخیرہ کرنے ، استفسار کرنے اور تجزیہ کرنے کی صلاحیت کچھ حد تک محدود ہے۔
عام ایپلی کیشنز جو ساخت کا ڈیٹا استعمال کرتی ہیں ان میں اسپتال مینجمنٹ سوفٹ ویئر ، کسٹمر ریلیشنش مینجمنٹ (سی آر ایم) ایپلی کیشنز اور ایئر لائن بکنگ سسٹم شامل ہیں۔ اس کی صاف ستھری تنظیم اور آسانی سے رسائ کی وجہ سے ، جب بڑی تعداد میں معلومات سے نمٹنے کے لئے تشکیل شدہ ڈیٹا کارآمد اور موثر ہوتا ہے۔ جب انسانیت کے ذریعہ ہر روز تیار شدہ ڈیٹا کی نہ ختم ہونے والی مقدار میں چھپے ہوئے سیاہ آئل کی کھدائی کی جاتی ہے ، تاہم ، ساختی اعداد و شمار کی تلاش سطح کو کھرچنے کے سوا کچھ نہیں ہے۔
غیر ساختہ ڈیٹا کیا ہے؟
کسی تنظیم میں پائے جانے والے ڈیٹا کی اکثریت غیر ساختہ ہے ، اور کچھ اس کا اندازہ کرتے ہیں کہ اس وقت دستیاب ڈیٹا کا 80 فیصد ہے۔ تعریف کے مطابق ، غیر ساختہ اعداد و شمار ہر وہ چیز ہے جس کی داخلی ساخت کی کوئی شناخت نہیں ہوتی ہے۔ تاہم ، کچھ قسم کا ڈیٹا اس زمرے میں آتا ہے ہے مبہم داخلی ڈھانچے کی کچھ شکلیں ، پھر بھی یہ کسی ڈیٹا بیس یا اسپریڈشیٹ کے موافق نہیں ہیں۔
کوئی کیڑے نہیں ، کوئی تناؤ نہیں - آپ کی زندگی کو تباہ کیے بغیر زندگی کو تبدیل کرنے والے سافٹ ویئر تخلیق کرنے کے لئے مرحلہ وار گائیڈ
جب آپ سافٹ ویئر کے معیار کی پرواہ نہیں کرتے ہیں تو آپ اپنی پروگرامنگ کی مہارت کو بہتر نہیں کرسکتے ہیں۔
زیادہ تر کاروباری اعداد و شمار غیر تنظیمی ہیں ، جس میں کسٹمر سروس کی بات چیت ، فائلیں ، ویب لاگز ، ویڈیوز اور دیگر ملٹی میڈیا مواد ، سیلز آٹومیشن ، اور سوشل میڈیا پوسٹس شامل ہیں۔ اس کو یہ بتانے کی ضرورت نہیں ہے کہ اگر اس کی کان کنی ، منظم اور تجزیہ کی جاسکتی ہے تو یہ ڈیٹا کتنا قیمتی ہوسکتا ہے۔
سب سے زیادہ غیر منظم ڈیٹا انسانوں کے ذریعہ تیار کیا جاتا ہے ، اور اس طرح دوسرے انسانوں نے بھی اسے سمجھا ہے۔ اس کا مطلب یہ ہے کہ صاف گو کمپیوٹر انٹیلیجنس اس قسم کی معلومات کو سمجھ نہیں سکتا ہے کیوں کہ یہ مشین زبان اور ساختہ ڈیٹا بیس کی حد سے بہت دور ہے۔
درمیان میں گرنا: نیم ساختہ ڈیٹا
نیم ساختہ ڈیٹا تیسری قسم کا ڈیٹا ہے جو پوری پائی (5-10 فیصد) کے بہت چھوٹے ٹکڑوں کی نمائندگی کرتا ہے۔ لفظی طور پر دونوں جہانوں کے درمیان پھنس گیا ، نیم ساختہ اعداد و شمار میں داخلی معنوی ٹیگ اور نشانات شامل ہیں جو الگ الگ عناصر کی نشاندہی کرتے ہیں ، لیکن رشتہ دار ڈیٹا بیس میں فٹ ہونے کے لئے درکار ڈھانچے کا فقدان ہے۔
مثال کے طور پر ، یہ ساختی اعداد و شمار کی طرح لگتا ہے کیونکہ ان کی تاریخ ، فائل کے سائز یا وقت کے لحاظ سے درجہ بندی کی جاسکتی ہے۔ تاہم ، وہ نہیں ہیں ، کیونکہ ان کے نسبتا simple آسان لیبلوں کے بجائے ان کے اندر انتہائی قیمتی معلومات پائی جاتی ہے۔ مواد اور موضوع کے ذریعہ صحیح معنوں میں بندوبست نہیں کیا جاسکتا ، کیوں کہ انسان ایسے سخت نمونوں میں بات نہیں کرتا ہے تاکہ کسی مشین کو ان کو غیر واضح طور پر سمجھنے دیا جائے۔ نیم ساختہ اعداد و شمار کی دوسری مثالوں میں NoSQL ڈیٹا بیس ، کھلی معیاری JSON اور مارک اپ لینگوئج XML شامل ہیں۔
نیم ساختہ اعداد و شمار کو عام طور پر میٹا ڈیٹا تجزیہ کا استعمال کرکے تجزیہ کرنے کے لئے استفسار کیا جاتا ہے۔ مثال کے طور پر ، ایک ایکس رے اسکین بڑی تعداد میں پکسلز پر مشتمل ہوتا ہے جو شبیہہ تشکیل دیتا ہے - جو فطری طور پر غیر ساختہ اعداد و شمار سے ہے جس تک رسائی حاصل نہیں کی جاسکتی ہے۔ تاہم ، اسکین فائل میں اب بھی میٹا ڈیٹا کا حصہ شامل ہوگا جو اس کے بارے میں معلومات مہیا کرتا ہے ، جیسے تشریحات اور صارف کی شناخت۔
کیا غیر ساختہ ڈیٹا کو اسٹرکچرڈ ڈیٹا میں تبدیل کیا جاسکتا ہے؟
بنیادی چیلینج جس کا ہر اعداد و شمار کے تجزیہ کار کو سامنا کرنا پڑتا ہے وہ یہ ہے کہ معلومات کو صاف اور منظم انداز میں منظم کریں تاکہ اس تک رسائی حاصل ہو اور اسے سمجھا جاسکے۔ ڈیٹا کان کنی کے اوزار عام طور پر معلومات کو پارس کرنے کے لئے لیس نہیں ہوتے ہیں ، جو تعریف کے مطابق ، انسانی زبان کے مترادف ہے ، اس کا مطلب ہے کہ صرف دوسرا انسان ہی اسے اکٹھا اور درجہ بندی کرسکتا ہے۔
تاہم ، غیر ساختہ اعداد و شمار کا سراسر حجم اسے انتہائی محنتی اور مہنگا کرنے کے لئے ذخیرہ کرنے یا منظم کرنے میں کوئی بھی کوشش کرتا ہے۔ کہتے ہیں کہ ، ویب پر مبنی سرچ انجن سے آنے والی معلومات کا تالاب اس قدر وسیع ہے ، کہ زیادہ تر عناصر کو کام کے وسائل اور وسائل کے لحاظ سے ایک بہت بڑی سرمایہ کاری درکار ہوتی ہے تاکہ وہ صرف بنیادی چیزیں نکال سکے۔ یہاں تک کہ ڈیٹا مائننگ کی انتہائی موثر تکنیک اب بھی گہری ویب کے اندر ویب پر پائی جانے والی معلومات کی کافی مقدار سے محروم رہتی ہے اور اس سے بھی بدتر۔
لیکن تکنیک موجود ہے. اور وہ حیرت انگیز رفتار سے تیار ہورہے ہیں۔ مثال کے طور پر ، میٹا ڈیٹا کا استعمال ساخت اور غیر ساختہ اعداد و شمار کو ایک ساتھ جوڑنے کے لئے کیا جاسکتا ہے۔ کٹائی گئی معلومات کو صرف متعلقہ اعداد و شمار کا تجزیہ کرنے کے لئے ، استعمال کنندہ اور الگورتھم دونوں ہی فلٹر اور ترتیب دے سکتے ہیں۔ دوسرے حلوں میں "ڈیٹا رینگنگ ،" شامل ہوتا ہے جو ایک ایسا عمل ہے جس کے ذریعے پیچیدہ ڈیٹا کو تکنیکی تکنیکی صارفین کے ذریعہ مرحلہ وار منظم کیا جاتا ہے۔ (عام صارفین کو ڈیٹا سنبھالنے کے بارے میں مزید معلومات کے ل see دیکھیں کہ ڈیٹا سیلف سروس تجزیات میں کس طرح مدد کرسکتا ہے۔)
کسی موقع پر ، ہم ان بڑے پیمانے پر غیر منظم تنظیم کی معلومات کو زیادہ منظم اور تنظیم نو شکل میں مؤثر طریقے سے تبدیل کرنے کے اہل ہوں گے۔ ہوسکتا ہے کہ آج نہیں ، شاید کل نہیں ، لیکن جلد ہی ہم انسانیت کے سامنے اب تک کی سب سے بڑی والٹ پر چھاپہ مار کرنے میں کامیاب ہوجائیں گے۔