छोटे या मध्यम डेटासेट को संभालने के लिए लंबे समय के लिए रिलेशनल डेटाबेस पर्याप्त थे। लेकिन जिस बड़े पैमाने पर डेटा बढ़ रहा है, वह डेटा संग्रहण और पुनर्प्राप्ति के लिए पारंपरिक दृष्टिकोण को अक्षम बनाता है। इस समस्या का समाधान नई तकनीकों द्वारा किया जा रहा है जो बिग डेटा को संभाल सकती हैं। इस तरह के बड़े डेटा सेट को संचालित करने के लिए Hadoop, Hive और Hbase लोकप्रिय प्लेटफार्म हैं। NoSQL या न केवल SQL डेटाबेस जैसे MongoDB लाभ के साथ हारे हुए स्थिरता मॉडल में डेटा को संग्रहीत और पुनर्प्राप्त करने के लिए एक तंत्र प्रदान करते हैं:
- क्षैतिज स्केलिंग
- उच्च उपलब्धता
- तेज़ पहुँच
MongoDB इंजीनियरिंग टीम ने हाल ही में Hadoop के लिए MongoDB कनेक्टर को बेहतर एकीकरण के लिए अद्यतन किया है। इससे Hadoop उपयोगकर्ताओं के लिए यह आसान हो जाता है:
- गहरी, ऑफ़लाइन विश्लेषिकी के लिए हडूप के साथ MongoDB से वास्तविक समय के डेटा को एकीकृत करें।
- कनेक्टर ने हनडॉप के मैपरड्यूस की विश्लेषणात्मक शक्ति को MongoDB से लाइव एप्लिकेशन डेटा को उजागर किया है, बड़े डेटा से तेज़ी से और अधिक कुशलता से ड्राइविंग मूल्य।
- कनेक्टर MongoDB को एक Hadoop- संगत फ़ाइल सिस्टम के रूप में प्रस्तुत करता है, जो MapReduce को MongoDB से सीधे पढ़ने की अनुमति देता है, इसे पहली बार HDFS (Hadoop फ़ाइल सिस्टम) में कॉपी किए बिना, जिससे नेटवर्क भर में Terabytes को स्थानांतरित करने की आवश्यकता होती है।
- MapReduce की नौकरियां फ़िल्टर के रूप में क्वेरीज़ को पारित कर सकती हैं, इसलिए संपूर्ण संग्रहों को स्कैन करने की आवश्यकता को टालती हैं, और MongoDB की समृद्ध अनुक्रमण क्षमताओं का लाभ भी उठा सकती हैं जिनमें भू-स्थानिक, पाठ-खोज, सरणी, यौगिक और विरल सूचकांक शामिल हैं।
- MongoDB से पढ़ना, Hadoop नौकरियों के परिणाम भी वास्तविक समय परिचालन प्रक्रियाओं और तदर्थ क्वेरी का समर्थन करने के लिए MongoDB के लिए वापस लिखा जा सकता है।
Hadoop और MongoDB उपयोग के मामले:
आइए एक उच्च-स्तरीय विवरण पर देखें कि एक सामान्य बिग डेटा स्टैक में MongoDB और Hadoop एक साथ कैसे फिट हो सकते हैं। मुख्य रूप से हमारे पास:
- MongoDB के रूप में इस्तेमाल किया 'परिचालन' वास्तविक समय डेटा स्टोर
- के लिए Hadoop ऑफ़लाइन बैच डेटा प्रोसेसिंग और विश्लेषण
जानने के लिए आगे पढ़ें तथा Aadhar, Shutterfly, Metlife और eBay जैसी कंपनियों और संगठनों द्वारा MongoDB का उपयोग कैसे किया गया ।
बैच एकत्रीकरण में Hadoop के साथ MongoDB का अनुप्रयोग:
ज्यादातर परिदृश्यों में डेटा के विश्लेषण के लिए MongoDB द्वारा प्रदान की गई एकत्रीकरण कार्यक्षमता पर्याप्त है। हालांकि कुछ मामलों में, काफी अधिक जटिल डेटा एकत्रीकरण आवश्यक हो सकता है। यह वह जगह है जहाँ Hadoop जटिल विश्लेषिकी के लिए एक शक्तिशाली ढांचा प्रदान कर सकता है।
इस परिदृश्य में:
- डेटा MongoDB से खींचा गया है और एक या अधिक MapReduce नौकरियों के माध्यम से Hadoop के भीतर संसाधित किया गया है। मल्टी-डेटा स्रोत समाधान विकसित करने के लिए इन MapReduce नौकरियों के भीतर डेटा को अन्य स्थानों से भी सॉर्ट किया जा सकता है।
- इन MapReduce नौकरियों से आउटपुट को बाद में मंच पर क्वेरी करने और तदर्थ आधार पर किसी भी विश्लेषण के लिए MongoDB पर वापस लिखा जा सकता है।
- MongoDB के शीर्ष पर बनाए गए एप्लिकेशन इसलिए बैच एनालिटिक्स से लेकर अंतिम क्लाइंट तक की जानकारी या अन्य डाउनस्ट्रीम सुविधाओं को सक्षम करने के लिए उपयोग कर सकते हैं।
डेटा वेयरहाउसिंग में आवेदन:
एक विशिष्ट उत्पादन सेटअप में, एप्लिकेशन का डेटा कई डेटा स्टोर पर, प्रत्येक अपनी स्वयं की क्वेरी भाषा और कार्यक्षमता के साथ रह सकता है। इन परिदृश्यों में जटिलता को कम करने के लिए, Hadoop को डेटा वेयरहाउस के रूप में उपयोग किया जा सकता है और विभिन्न स्रोतों से डेटा के लिए एक केंद्रीकृत भंडार के रूप में कार्य कर सकता है।
यदि sql क्वेरी में स्टेटमेंट
इस तरह के परिदृश्य में:
- समय-समय पर MapReduce जॉब्स लोड डेटा को Hadoop में MongoDB से लोड करती हैं।
- एक बार MongoDB और अन्य स्रोतों से डेटा Hadoop में उपलब्ध होने के बाद, बड़े डेटासेट को खिलाफ किया जा सकता है।
- डेटा विश्लेषकों के पास अब उन नौकरियों को बनाने के लिए MapReduce या Pig का उपयोग करने का विकल्प है जो MongoDB से डेटा को शामिल करने वाले बड़े डेटासेट को क्वेरी करते हैं।
MongoDB के पीछे काम करने वाली टीम ने यह सुनिश्चित किया है कि Hadoop जैसी बिग डेटा तकनीकों के साथ अपने समृद्ध एकीकरण के साथ, यह बिग डेटा स्टैक में अच्छी तरह से एकीकृत करने में सक्षम है और डेटा स्टोरेज, रिट्रीवल, प्रोसेसिंग, एग्रीगेटिंग और वेयरहाउसिंग के बारे में कुछ जटिल वास्तु मुद्दों को हल करने में मदद करता है। । उन लोगों के लिए कैरियर की संभावनाओं पर हमारी आने वाली पोस्ट के लिए बने रहें, जो मोंडोबीडी के साथ हैडॉप लेते हैं। यदि आप पहले से ही Hadoop के साथ काम कर रहे हैं या सिर्फ MongoDB उठा रहे हैं, तो हमारे द्वारा MongoDB के लिए दिए गए पाठ्यक्रमों की जाँच करें