مواد
- اپاچی چنگاری کیا ہے؟
- ہڈوپ میں چنگاری کیوں اتنی اہم ہے؟
- انوکھی خصوصیات کون سے ہیں؟
- کیوں ہنگوالی ہڈوپ کے لئے متبادل نہیں ہے
- کمپنیاں اسپارک اور ہڈوپ کے بارے میں کیا سوچتی ہیں
- عملی نفاذ
- نتیجہ اخذ کرنا
ماخذ: سانپ 3 ڈی / ڈریم ٹائم ڈاٹ کام
ٹیکا وے:
اپاچی اسپرک بڑے اعداد و شمار پر کارروائی کرنے کا ایک اوپن سورس ٹول ہے جو ہڈوپ (اور کچھ طریقوں سے آگے نکل کر) آگے بڑھ رہا ہے۔
اپاچی ہیدوپ ایک لمبے عرصے سے بڑے اعداد و شمار کی ایپلی کیشنز کی بنیاد بنا ہوا ہے ، اور اسے بگ ڈیٹا سے متعلق تمام پیش کشوں کے لئے بنیادی ڈیٹا پلیٹ فارم سمجھا جاتا ہے۔ تاہم ، تیز کارکردگی اور تیز نتائج کی وجہ سے ان میموری میموری ڈیٹا بیس اور حساب کتاب مقبولیت حاصل کررہا ہے۔ اپاچی سپارک ایک نیا فریم ورک ہے جو تیز رفتار پروسیسنگ کی فراہمی کے لئے میموری میں صلاحیتوں کا استعمال کرتا ہے (ہڈوپ سے تقریباop 100 گنا تیز)۔ لہذا ، اسپارک پروڈکٹ بڑے اعداد و شمار کی دنیا میں ، اور بنیادی طور پر تیز تر پروسیسنگ کے لئے تیزی سے استعمال ہورہی ہے۔
اپاچی چنگاری کیا ہے؟
اپاچی سپارک تیز رفتار اور سادگی کے ساتھ ڈیٹا (بڑے اعداد و شمار) کی بڑی مقدار پر کارروائی کرنے کا ایک اوپن سورس فریم ورک ہے۔ یہ بڑے اعداد و شمار پر مبنی تجزیات کی ایپلی کیشنز کے لئے موزوں ہے۔ چنگاری کو ہڈوپ ماحول ، اسٹینڈ یا بادل میں استعمال کیا جاسکتا ہے۔ یہ کیلیفورنیا یونیورسٹی میں تیار کیا گیا تھا اور پھر بعد میں اپاچی سافٹ ویئر فاؤنڈیشن کو پیش کیا گیا تھا۔ لہذا ، اس کا تعلق اوپن سورس کمیونٹی سے ہے اور یہ بہت لاگت سے کارآمد ہوسکتا ہے ، جو شوقیہ ڈویلپرز کو آسانی سے کام کرنے کی اجازت دیتا ہے۔ (ہڈوپس اوپن سورس کے بارے میں مزید معلومات کے ل see ، ملاحظہ کریں کہ اپاچی ہیدوپ ایکو سسٹم پر اوپن سورس کا اثر کیا ہے؟)
سپارک کا بنیادی مقصد یہ ہے کہ وہ ڈویلپرز کو ایک اطلاق کا فریم ورک فراہم کرتا ہے جو اعداد و شمار کے ایک مربوط ڈھانچے کے ارد گرد کام کرتا ہے۔ چنگاری بھی انتہائی طاقتور ہے اور مختصر وقت میں بڑے پیمانے پر ڈیٹا کو تیزی سے پروسس کرنے کی فطری صلاحیت رکھتی ہے ، اس طرح انتہائی عمدہ کارکردگی کی پیش کش کرتی ہے۔اس سے یہ بہت تیز تر ہوتا ہے جس کے بارے میں کہا جاتا ہے کہ اس کا قریب ترین حریف ، ہڈوپ ہے۔
ہڈوپ میں چنگاری کیوں اتنی اہم ہے؟
اپاچی سپارک ہمیشہ سے ہی ہڈوپ کو متعدد خصوصیات میں ٹرمپ کے نام سے جانا جاتا ہے ، جو شاید اس کی وضاحت کرتا ہے کہ یہ اتنا اہم کیوں رہتا ہے۔ اس کی ایک بنیادی وجہ اس کی پروسیسنگ کی رفتار پر غور کرنا ہوگا۔ در حقیقت ، جیسا کہ پہلے ہی اوپر بتایا گیا ہے ، سپارک اس ہی طرح کے اعداد و شمار کے لئے ہڈوپ کے میپ ریڈوسیس سے تقریبا 100 گنا تیز پروسیسنگ پیش کرتا ہے۔ یہ ہڈوپ کے مقابلے میں نمایاں طور پر کم وسائل بھی استعمال کرتا ہے ، جس سے یہ سرمایہ کاری مؤثر ثابت ہوتا ہے۔
ایک اور اہم پہلو جہاں اسپارک کا اوپری ہاتھ ہے وسائل مینیجر کے ساتھ مطابقت کے لحاظ سے ہے۔ اپاچی سپارک ہاڈوپ کے ساتھ چلنے کے لئے جانا جاتا ہے ، بالکل اسی طرح جیسے میپریڈوسیس کرتا ہے ، تاہم ، مؤخر الذکر فی الحال صرف ہڈوپ کے ساتھ مطابقت رکھتا ہے۔ اگرچہ اپاچی سپارک کی بات ہے تو ، یہ دوسرے وسائل کے مینیجرز جیسے یاران یا میسوس کے ساتھ کام کرسکتا ہے۔ ڈیٹا سائنس دان اکثر اسے ایک سب سے بڑے شعبے کے طور پر پیش کرتے ہیں جہاں اسپارک واقعی میں ہڈوپ کو پیچھے چھوڑ دیتا ہے۔
جب استعمال میں آسانی کی بات آتی ہے تو ، اسپارک ایک بار پھر ہڈوپ سے کہیں بہتر ہوتا ہے۔ اسپارک میں متعدد زبانوں جیسے اسکالہ ، جاوا اور ازگر کے لئے APIs ہیں ، اس کے علاوہ اسپرک ایس کیو ایل کی پسند بھی ہے۔ صارف کی وضاحت شدہ افعال لکھنا نسبتا simple آسان ہے۔ کمانڈ چلانے کے لئے انٹرایکٹو موڈ پر فخر کرنا بھی ہوتا ہے۔ دوسری طرف ، ہڈوپ جاوا میں لکھا گیا ہے اور اس نے پروگرام کرنے میں بہت مشکل ہونے کی شہرت حاصل کی ہے ، حالانکہ اس میں ایسے اوزار موجود ہیں جو اس عمل میں معاون ہیں۔ (اسپارک کے بارے میں مزید معلومات کے ل see ، دیکھیں کہ اپاچی چنگاری ریپڈ ایپلی کیشن ڈویلپمنٹ میں کس طرح مدد کرتی ہے۔)
انوکھی خصوصیات کون سے ہیں؟
اپاچی اسپارک میں کچھ انوکھی خصوصیات ہیں جو اسے ڈیٹا پروسیسنگ کے کاروبار میں اپنے بہت سے حریف سے واقعتا truly ممیز کرتی ہیں۔ ان میں سے کچھ ذیل میں مختصرا. بیان کیا گیا ہے۔
جب آپ سافٹ ویئر کے معیار کی پرواہ نہیں کرتے ہیں تو آپ اپنی پروگرامنگ کی مہارت کو بہتر نہیں کرسکتے ہیں۔
چنگاری میں اپنی مشین لرننگ الگورتھم کی مدد سے اس کے بنیادی حصے میں ضروری معلومات لوڈ کرنے کی ایک فطری صلاحیت بھی ہے۔ اس سے یہ انتہائی تیز رفتار ہونے کی اجازت ملتی ہے۔
اپاچی سپارک گرافوں یا حتی کہ معلومات پر عملدرآمد کرنے کی صلاحیت کے ساتھ آتی ہے جو فطرت میں گرافیکل ہے ، اس طرح بہت ساری صحت سے متعلق تجزیہ کو آسان بناتا ہے۔
اپاچی اسپرک میں ایم ایلب ہے ، جو ساختہ مشین سیکھنے کے لئے ایک فریم ورک ہے۔ یہ ہڈوپ کے مقابلے میں بھی بنیادی طور پر تیز رفتار ہے۔ ایم ایلب کئی مسائل کو حل کرنے کی اہلیت رکھتا ہے ، جیسے شماریاتی پڑھنے ، ڈیٹا کے نمونے لینے اور ابتدائی جانچ ، جیسے کچھ کا نام لیا جائے۔
کیوں ہنگوالی ہڈوپ کے لئے متبادل نہیں ہے
اس حقیقت کے باوجود کہ اسپارک کے متعدد پہلو ہیں جہاں وہ ہڈوپ کے ہاتھوں کو نیچے پھینک دیتا ہے ، ابھی بھی بہت ساری وجوہات ہیں کہ وہ ابھی ابھی ہڈوپ کی جگہ نہیں لے سکتی ہے۔
پہلے ، ہڈوپ اسپارک کے مقابلے میں آسانی سے ٹولز کا ایک بڑا مجموعہ پیش کرتا ہے۔ اس کے متعدد طرز عمل بھی ہیں جن کی صنعت میں پہچان ہے۔ اگرچہ اپاچی اسپرک ، ڈومین میں اب بھی نسبتا young جوان ہے اور ہڈوپ سے متفق ہونے کے لئے کچھ وقت درکار ہوگا۔
جب مکمل آپریشن چلانے کی بات ہو تو ہڈوپ کے میپ ریڈوسی نے بھی صنعت کے کچھ معیارات طے کرلیے ہیں۔ دوسری طرف ، یہ اب بھی مانا جاتا ہے کہ سپارک مکمل معتبریت کے ساتھ کام کرنے کے لئے مکمل طور پر تیار نہیں ہے۔ اکثر ، وہ تنظیمیں جو اسپارک استعمال کرتی ہیں ان کو اپنی ضروریات کے سیٹ کے ل. تیار کرنے کے ل it ، اسے ٹھیک بنانے کی ضرورت ہوتی ہے۔
ہڈوپ کا میپریڈوسیٹ ، جو سپارک سے زیادہ وقت تک رہا ہے ، تشکیل کرنا بھی آسان ہے۔ اگرچہ یہ سپارک کے لئے معاملہ نہیں ہے ، اس پر غور کرتے ہوئے کہ یہ ایک نیا نیا پلیٹ فارم پیش کرتا ہے جس نے واقعتا rough کسی نہ کسی پیچ کا تجربہ نہیں کیا ہے۔
کمپنیاں اسپارک اور ہڈوپ کے بارے میں کیا سوچتی ہیں
بہت ساری کمپنیوں نے اپنی ڈیٹا پروسیسنگ کی ضروریات کے لئے سپارک کو استعمال کرنا شروع کردیا ہے ، لیکن کہانی وہاں ختم نہیں ہوتی ہے۔ اس کے یقینی طور پر کئی مضبوط پہلو ہیں جو اسے حیرت انگیز ڈیٹا پروسیسنگ پلیٹ فارم بناتے ہیں۔ تاہم ، یہ اپنی خرابیاں کے منصفانہ حص withے کے ساتھ بھی آتا ہے جسے فکسنگ کی ضرورت ہے۔
یہ انڈسٹری کا خیال ہے کہ اپاچی اسپارک یہاں رہنے کے لئے ہے اور ممکنہ طور پر ڈیٹا پروسیسنگ کی ضروریات کے لئے بھی مستقبل ہے۔ تاہم ، اسے ابھی بھی بہت سارے ترقیاتی کاموں اور پالشگزاروں سے گزرنے کی ضرورت ہے جس کی مدد سے وہ اپنی صلاحیتوں کو صحیح معنوں میں استعمال کرسکے گا۔
عملی نفاذ
اپاچی سپارک متعدد کمپنیوں کے ذریعہ اب بھی کام کر رہا ہے اور جو ان کے ڈیٹا پروسیسنگ کی ضروریات کے مطابق ہے۔ ایک سب سے کامیاب نفاذ شاپائف نے انجام دیا ، جو کاروباری تعاون کے ل eligible اہل اسٹورز کو منتخب کرنے کے درپے تھا۔ تاہم ، جب اس کے صارفین اپنے فروخت کردہ مصنوعات کو سمجھنا چاہتے تھے تو اس کے ڈیٹا گودام کا وقت ختم ہوجاتا ہے۔ اسپارک کی مدد سے ، کمپنی کئی ملین ڈیٹا ریکارڈوں پر عملدرآمد کرنے میں کامیاب رہی اور پھر چند منٹوں میں 67 ملین ریکارڈوں پر عملدرآمد کرسکتی ہے۔ اس نے یہ بھی طے کیا کہ کون سے اسٹور اہل ہیں۔
اسپارک کا استعمال کرتے ہوئے ، پنٹیرسٹ ترقی پذیر رجحانات کی نشاندہی کرنے کے قابل ہے اور پھر اسے صارفین کے رویے کو سمجھنے کے لئے استعمال کرتا ہے۔ اس سے پنٹیرسٹ کمیونٹی میں بہتر قدر کی مزید سہولت ہے۔ دنیا کی سب سے بڑی ٹریول انفارمیشن سائٹوں میں سے ایک ، ٹرپ ایڈوائزر کے ذریعہ چنگاری کا استعمال بھی زائرین کو اپنی سفارشات کو تیز کرنے کے لئے کیا جا رہا ہے۔
نتیجہ اخذ کرنا
کوئی بھی اپاچی اسپارک کے قابلیت ، حتی کہ اس وقت بھی اور خصوصیات کے انوکھے سیٹ پر شک نہیں کرسکتا جو اس کی میز پر لاتا ہے۔ اس کی طاقت اور رفتار کے ساتھ ساتھ اس کی مطابقت مستقبل میں آنے والی متعدد چیزوں کے ل for بھی ترتیب دیتی ہے۔ تاہم ، اگر اس کو اپنی پوری صلاحیتوں کا صحیح معنوں میں ادراک کرنا ہو تو ، اس کے بہت سے شعبوں میں بھی بہتری لانے کی ضرورت ہے۔ اگرچہ ہڈوپ ابھی بھی اس روسٹ پر حکمرانی کرتا ہے ، لیکن اپاچی اسپرک کا مستقبل روشن مستقبل ہے اور بہت سے لوگ ڈیٹا پروسیسنگ کی ضروریات کے لئے مستقبل کا پلیٹ فارم سمجھتے ہیں۔