مواد
سوال:
کیا کبھی بھی بڑے ڈیٹا میں بہت زیادہ ڈیٹا ہوسکتا ہے؟
A:
سوال کا جواب ایک پُر اثر ہاں ہے۔ کسی بڑے ڈیٹا پروجیکٹ میں بہت زیادہ ڈیٹا ہوسکتا ہے۔
ایسے متعدد طریقے ہیں جن میں یہ ہوسکتا ہے ، اور مختلف وجوہات ہیں کہ پیشہ ور افراد کو صحیح نتائج حاصل کرنے کے ل any کسی بھی طرح سے ڈیٹا کو محدود اور درست کرنے کی ضرورت ہے۔ (بگ ڈیٹا کے بارے میں 10 بڑے افسانے پڑھیں۔)
عام طور پر ، ماہرین ایک ماڈل میں "شور" سے "سگنل" کو مختلف کرنے کے بارے میں بات کرتے ہیں۔ دوسرے الفاظ میں ، بڑے اعداد و شمار کے سمندر میں ، متعلقہ بصیرت والے اعداد و شمار کو نشانہ بنانا مشکل ہوجاتا ہے۔ کچھ معاملات میں ، آپ گھاس کے کٹے میں سوئی ڈھونڈ رہے ہیں۔
مثال کے طور پر ، فرض کیج a کہ کوئی کمپنی صارف کے اڈے کے ایک حصgmentے پر مخصوص بصیرت پیدا کرنے اور ان کی خریداری کو ایک خاص ٹائم فریم میں بڑے اعداد و شمار کو استعمال کرنے کی کوشش کر رہی ہے۔ (پڑھیں بڑا ڈیٹا کیا کرتا ہے؟)
بہت زیادہ اعداد و شمار کے اثاثوں کو لینے کے نتیجے میں بے ترتیب اعداد و شمار کی انٹیک ہوسکتی ہے جو متعلقہ نہیں ہے ، یا یہ ایسا تعصب بھی پیدا کرسکتا ہے جو اعداد و شمار کو ایک سمت میں لے جاتا ہے یا کسی اور طرف۔
اس سے یہ عمل بھی ڈرامائی طور پر سست ہوجاتا ہے ، کیونکہ کمپیوٹنگ سسٹم کو بڑے اور بڑے ڈیٹا سیٹوں کے ساتھ کشتی کرنا پڑتی ہے۔
بہت سارے مختلف منصوبوں میں ، اعداد و شمار کے انجنئیروں کے لئے محدود اور مخصوص ڈیٹا سیٹوں پر ڈیٹا کو درست کرنا انتہائی ضروری ہے - مذکورہ بالا صورت میں ، صرف اس حصے کے صارفین کے اس حصے کا اعداد و شمار ہوں گے ، صرف اس وقت کا ڈیٹا فریم کا مطالعہ کیا جارہا ہے ، اور ایک ایسا نقطہ نظر جو اضافی شناخت کاروں یا پس منظر کی معلومات کو ماتم کرتا ہے جو چیزوں کو الجھا سکتا ہے یا نظام کو سست کرسکتا ہے۔ (ReadJob Role: ڈیٹا انجینئر۔)
مزید کے لئے ، آئیے یہ دیکھنا چاہتے ہیں کہ یہ مشین لرننگ کے فرنٹیئر میں کیسے کام کرتا ہے۔ (مشین لرننگ 101 پڑھیں۔)
مشین سیکھنے کے ماہرین "اوورفٹنگ" کہلانے والی کسی چیز کے بارے میں بات کرتے ہیں جہاں مشین لرننگ پروگرام نئے پروڈکشن کے اعداد و شمار پر ڈھل جاتا ہے تو ایک انتہائی پیچیدہ ماڈل کم موثر نتائج کا باعث بنتا ہے۔
جب ڈیٹا پوائنٹس کا ایک پیچیدہ سیٹ ابتدائی تربیت کے سیٹ سے بہت اچھ matchا ہوتا ہے تو اس سے زیادہ فائدہ ہوتا ہے ، اور پروگرام کو آسانی سے نئے اعداد و شمار میں ڈھالنے کی اجازت نہیں دیتا ہے۔
اب تکنیکی طور پر ، زیادہ مناسب اعداد و شمار کے نمونوں کے وجود کی وجہ سے نہیں ، بلکہ بہت سارے ڈیٹا پوائنٹس کی تاجپوشی کی وجہ سے ہے۔ لیکن آپ یہ بھی بحث کر سکتے ہیں کہ بہت زیادہ ڈیٹا ہونا بھی اس قسم کی پریشانی کا باعث بن سکتا ہے۔ جہت کی لعنت سے نپٹنے میں کچھ ایسی ہی تکنیک شامل ہیں جو پہلے بڑے ڈیٹا پروجیکٹس میں کی گئیں تھیں کیونکہ پیشہ ور افراد نے اس بات کی نشاندہی کرنے کی کوشش کی تھی کہ وہ آئی ٹی سسٹم کو کیا کھا رہے ہیں۔
اہم بات یہ ہے کہ بڑا ڈیٹا کمپنیوں کے لئے بے حد مددگار ثابت ہوسکتا ہے ، یا یہ ایک بڑا چیلنج بن سکتا ہے۔ اس کا ایک پہلو یہ ہے کہ آیا کمپنی کے پاس صحیح اعداد و شمار موجود ہیں۔ ماہرین جانتے ہیں کہ یہ مناسب نہیں ہے کہ تمام اعداد و شمار کے اثاثوں کو صرف ایک ہاپپر میں پھینک دیں اور اس طرح سے بصیرت کے ساتھ آسکیں - نئے کلاؤڈ آبائی اور نفیس ڈیٹا سسٹم میں ، اعداد و شمار کو کنٹرول کرنے اور ان کو درست کرنے کی کوشش کی جاسکتی ہے تاکہ مزید درست اور حاصل ہوسکے۔ ڈیٹا اثاثوں سے موثر استعمال۔