क्लोडेरा हडोप: सीडीएच वितरण के साथ शुरू करना

बिग डेटा, और अपाचे Hadoop के लिए बढ़ती मांग के साथ हैपरक्रांति के दिल, इसने डेटा को व्यवस्थित और गणना करने के तरीके को बदल दिया है। Hadoop को अपने व्यवसाय की जरूरतों के साथ संरेखित करने के लिए संगठनों की आवश्यकता ने वाणिज्यिक वितरण के उद्भव को बढ़ावा दिया है। वाणिज्यिक Hadoop वितरण आमतौर पर सुविधाओं के साथ पैक किया जाता है, Hadoop की तैनाती को कारगर बनाने के लिए डिज़ाइन किया गया है। क्लोडेरा हडोप डिस्ट्रीब्यूशन एक स्केलेबल, लचीला, एकीकृत प्लेटफॉर्म प्रदान करता है जो आपके उद्यम में तेजी से बढ़ती मात्रा और डेटा की किस्मों का प्रबंधन करना आसान बनाता है।

Cloudera Hadoop वितरण पर इस ब्लॉग में, हम निम्नलिखित विषयों को शामिल करेंगे:

• • हाडोप का परिचय
  • हडपप वितरण
  • Cloudera बनाम MapR बनाम हॉर्टनवर्क
  • क्लाउडर वितरण
  • क्लाउडर मैनेजर
  • क्लाउड मैनेजर का प्रदर्शन
  • एक Oozie वर्कफ़्लो बनाना

क्लोडेरा हाडोप: हाडोप का परिचय

Hadoop एक अपाचे ओपन-सोर्स फ्रेमवर्क है जो बिग डेटा को वितरित वातावरण में स्टोर और प्रोसेस करता हैके आर - पारसरल प्रोग्रामिंग मॉडल का उपयोग करके क्लस्टर। Hadoop वितरित भंडारण के शीर्ष पर समानांतर गणना प्रदान करता है।Hadoop के बारे में विस्तार से जानने के लिए आप इसका उल्लेख कर सकते हैं

Hadoop के इस संक्षिप्त परिचय के बाद, अब मैं Hadoop वितरण के विभिन्न प्रकारों की व्याख्या करता हूँ।

क्लोडेरा हडोप: हडोप डिस्ट्रीब्यूशन

चूंकि Apache Hadoop खुला स्रोत है, कई कंपनियों ने वितरण विकसित किए हैं जो मूल खुले स्रोत कोड से परे जाते हैं। यह RedHat, Fedora और Ubuntu जैसे लिनक्स वितरण के लिए बहुत ही महत्वपूर्ण है। लिनक्स वितरण में से प्रत्येक उबंटू में उपयोगकर्ता के अनुकूल जीयूआई जैसी अपनी स्वयं की कार्यक्षमता और सुविधाओं का समर्थन करता है। इसी तरह, लाल टोपी उद्यमों के भीतर लोकप्रिय है क्योंकि यह समर्थन प्रदान करता है और इच्छानुसार प्रणाली के किसी भी हिस्से में परिवर्तन करने के लिए विचारधारा भी प्रदान करता है। Red Hat आपको सॉफ़्टवेयर संगतता समस्याओं से छुटकारा दिलाता है। यह आमतौर पर उपयोगकर्ताओं के लिए एक बड़ा मुद्दा हैजो विंडोज से संक्रमण कर रहे हैं।

इसी तरह, Hadoop वितरण के 3 मुख्य प्रकार हैं जिनके पास कार्यक्षमताओं और विशेषताओं का अपना सेट है और यह बेस HDFS के तहत बनाया गया है।

Cloudera बनाम MapR बनाम हॉर्टनवर्क

अंजीर: मेपोर बनाम हॉर्टनवर्क्स बनाम क्लाउडा

क्लाउडरा हाडोप वितरण

क्लोडेरा हडोप स्पेस में बाजार की प्रवृत्ति है और वाणिज्यिक हाडोप वितरण को रिलीज करने वाला पहला है। इसके बीच अंतर को पाटने के लिए परामर्श सेवाएं प्रदान करता है - 'अपाचे हैडॉप क्या प्रदान करता है' और 'संगठनों को क्या चाहिए'।

Cloudera वितरण है:

• व्यापार के लिए उपवास : एनालिटिक्स से लेकर डेटा साइंस और बीच की हर चीज, क्लोएडेरा आपके द्वारा अनलिमिटेड डेटा की क्षमता को अनलॉक करने के लिए जरूरी परफॉर्मेंस देता है।
• Hadoop को मैनेज करना आसान बनाता है : क्लाउड प्रबंधक के साथ, स्वचालित जादूगर आपको पैमाने या तैनाती के माहौल के बावजूद अपने क्लस्टर को जल्दी से तैनात करने की अनुमति देते हैं।
• समझौता किए बिना सुरक्षित: व्यापार चपलता का त्याग किए बिना कड़े डेटा सुरक्षा और अनुपालन जरूरतों को पूरा करता है। Cloudera डेटा सुरक्षा और शासन के लिए एक एकीकृत दृष्टिकोण प्रदान करता है।

हॉर्टन-वर्क्स वितरण

हॉर्टन-वर्क्स डेटा प्लेटफ़ॉर्म (HDP) पूरी तरह से एक खुला स्रोत प्लेटफ़ॉर्म है जिसे कई स्रोतों और प्रारूपों से डेटा को छल करने के लिए डिज़ाइन किया गया है। प्लेटफ़ॉर्म में विभिन्न Hadoop टूल शामिल हैं जैसे Hadoop डिस्ट्रिब्यूटेड फ़ाइल सिस्टम (HDFS), MapReduce, Zookeeper, HBase, Pig, Hive और अतिरिक्त घटक।

यह भी इस तरह की सुविधाओं का समर्थन करता है:

• HDP हाइव बनाता है और तेज अपनी नई स्टिंगर परियोजना के माध्यम से।
• एच.डी.पी. वेंडर लॉक-इन से बचता है Hadoop के एक फोर्कड वर्जन को गिरवी रखकर।
• एचडीपी बढ़ाने पर केंद्रित है प्रयोज्यता Hadoop मंच का।

MapR Distribution

MapR, HortonWorks और Cloudera की तरह एक प्लेटफ़ॉर्म-केंद्रित Hadoop समाधान प्रदाता है। MapR अपने स्वयं के डेटाबेस सिस्टम को एकीकृत करता है, जिसे Hadoop वितरण सेवाओं की पेशकश करते समय MapR-DB के रूप में जाना जाता है। मैपआर-डीबी को स्टॉक हडोप डेटाबेस, यानी HBase से चार से सात गुना तेज होने का दावा किया जाता है, जिसे अन्य वितरणों पर निष्पादित किया जाता है।

इसकी खासियतें हैं जैसे:

• यह एकमात्र Hadoop वितरण है जिसमें किसी भी जावा निर्भरता के बिना Pig, Hive और Sqoop शामिल हैं - क्योंकि यह MapR- फाइल सिस्टम पर निर्भर करता है।
• MapR सबसे अधिक उत्पादन के लिए तैयार है, जो कई संवर्द्धन के साथ Hadoop वितरण है जो इसे अधिक उपयोगकर्ता के अनुकूल, तेज और भरोसेमंद बनाता है।

अब क्लूडेरा हडोप डिस्ट्रीब्यूशन की गहराई से चर्चा करते हैं।

एनाकोंडा पायथन का उपयोग कैसे करें

नए अपडेट पाने के लिए हमारे YouTube चैनल को सब्सक्राइब करें ...

क्लोउडरो हडोप: क्लेडर वितरण

क्लोडेरा हडोप स्पेस में सबसे पहले जाने-माने खिलाड़ी हैं, जो पहले वाणिज्यिक हडोप वितरण को जारी करते हैं।

अंजीर: Cloudera Hadoop वितरण

Cloudera Hadoop वितरण निम्नलिखित विशेषताओं का समर्थन करता है:

1. क्लोडेरा के सीडीएच में सभी खुले स्रोत घटक शामिल हैं, उद्यम-वर्ग की तैनाती को लक्षित करता है, और सबसे लोकप्रिय वाणिज्यिक हैडॉप वितरण में से एक है।
2. अपने नवाचारों के लिए जाना जाने वाला, क्लाउडरा पहली पेशकश थी SQL- के लिए Hadoop इसके साथ इम्पाला क्वेरी इंजन।
3. प्रबंधन सांत्वना - क्लाउडर मैनेजर , एक संगठित और साफ तरीके से सभी क्लस्टर सूचनाओं को प्रदर्शित करने वाले समृद्ध यूजर इंटरफेस के साथ उपयोग करना और लागू करना आसान है।
4. CDH में आप बिना किसी व्यवधान के अप और रनिंग क्लस्टर में सेवाएं जोड़ सकते हैं।
5. Cloudera के अन्य परिवर्धन में सुरक्षा, उपयोगकर्ता इंटरफ़ेस और तीसरे पक्ष के अनुप्रयोगों के साथ एकीकरण के लिए इंटरफेस शामिल हैं।
6. सीडीएच प्रदान करता है नोड टेम्प्लेट यानी यह अलग-अलग विन्यास वाले एक Hadoop क्लस्टर में नोड्स के एक समूह के निर्माण की अनुमति देता है। यह Hadoop क्लस्टर में समान कॉन्फ़िगरेशन का उपयोग मिटा देता है।
7. यह भी समर्थन करता है:
   • विश्वसनीयता
     जब भी बग का पता चलता है, तो Hadoop विक्रेता तुरंत प्रतिक्रिया देते हैं। वाणिज्यिक समाधानों को और अधिक स्थिर बनाने के इरादे से, पैच और फिक्स तुरंत तैनात किए जाते हैं।

   • सहयोग
     क्लोडेरा हाडोप विक्रेता तकनीकी मार्गदर्शन और सहायता प्रदान करते हैं जो ग्राहकों के लिए उद्यम स्तर के कार्यों और मिशन-महत्वपूर्ण अनुप्रयोगों के लिए हडोप को अपनाना आसान बनाता है।

   • पूर्णता
     Hadoop विक्रेताओं ने अपने वितरण को विभिन्न अन्य ऐड-ऑन टूल के साथ जोड़ा है जो ग्राहकों को उनके विशिष्ट कार्यों को संबोधित करने के लिए Hadoop एप्लिकेशन को अनुकूलित करने में मदद करते हैं।

Cloudera वितरण 2 विभिन्न प्रकार के संस्करणों के साथ आता है।

1. Cloudera एक्सप्रेस संस्करण
2. Cloudera एंटरप्राइज संस्करण

अब उनके बीच के अंतर को देखते हैं।

क्लोडेरा हडोप: क्लूडेरा मैनेजर

क्लोएडेरा के अनुसार, क्लोउडेरा प्रबंधक सबसे अच्छा तरीका है इंस्टॉल , कॉन्फ़िगर करें , प्रबंधन करें , तथा निगरानी करें Hadoop स्टैक।

यह प्रदान करता है:

1. स्वचालित परिनियोजन और कॉन्फ़िगरेशन
2. अनुकूलन योग्य निगरानी और रिपोर्टिंग
3. अथाह मजबूत समस्या निवारण
4. शून्य - डाउनटाइम रखरखाव

Cloudera Hadoop और इसके विभिन्न उपकरणों के बारे में गहराई से ज्ञान प्राप्त करें

क्लाउडरा प्रबंधक का प्रदर्शन

आइए क्लूडर मैनेजर का अन्वेषण करें।

1. नीचे आंकड़ा उन सेवाओं की संख्या को दर्शाता है जो वर्तमान में क्लाउड मैनेजर में चल रही हैं। आप क्लस्टर CPU उपयोग, डिस्क IO उपयोग आदि के बारे में चार्ट भी देख सकते हैं।

अंजीर: Cloudera प्रबंधक का मुखपृष्ठ

2. नीचे की छवि HBase क्लस्टर प्रदर्शित करती है। यह आपको वर्तमान में चल रहे HBase REST सर्वर की स्वास्थ्य स्थितियों के बारे में चार्ट और ग्राफ़ देता है।

अंजीर: HBase सर्वर के स्वास्थ्य की स्थिति

3. अब, HBase क्लस्टर के इंस्टेंस टैब पर एक नजर डालते हैं, जहां आप स्थिति और IP कॉन्फ़िगरेशन की जांच कर सकते हैं।

अंजीर: HBase क्लस्टर के होस्ट सर्वर की स्थिति और आईपी पता

4. इसके बाद, आपके पास कॉन्फ़िगरेशन टैब है। यहां आप सभी कॉन्फ़िगरेशन पैरामीटर देख सकते हैं और उनके मान बदल सकते हैं।

अंजीर: HBase क्लस्टर का कॉन्फ़िगरेशन

अब, आइए समझते हैं कि क्लाउडरा में पार्सल क्या हैं।

क्लोडेरा हाडोप: पार्सल

एक पार्सल एक बाइनरी वितरण प्रारूप है जिसमें क्लूडेरा प्रबंधक द्वारा उपयोग किए जाने वाले अतिरिक्त मेटाडेटा के साथ प्रोग्राम फाइलें भी हैं।

पार्सल स्व-निहित होते हैं और एक संस्करण निर्देशिका में स्थापित होते हैं, जिसका अर्थ है कि किसी दिए गए सेवा के कई संस्करणों को साइड-बाय-साइड स्थापित किया जा सकता है।

नीचे पार्सल का उपयोग करने के लाभ दिए गए हैं:

• यह CDH को एक ही वस्तु के रूप में वितरित करता है यानी CDH के प्रत्येक भाग के लिए एक अलग पैकेज होने के बजाय, पार्सल सिर्फ एक ही वस्तु को स्थापित करने के लिए है।

• यह आंतरिक स्थिरता प्रदान करता है (चूंकि पूरा सीडीएच एकल पार्सल के रूप में वितरित किया जाता है, सभी सीडीएच घटकों का मिलान होता है और सीडीएच के विभिन्न संस्करणों से आने वाले विभिन्न भागों का कोई जोखिम नहीं होगा)।

• आप कुछ क्लिक का उपयोग करके CDH में पार्सल को स्थापित, अपग्रेड, डाउनग्रेड, वितरित और सक्रिय कर सकते हैं।

अब, पार्सल का उपयोग करके सीडीएच में काफ्का सेवा को स्थापित और सक्रिय करने का तरीका देखें।

1. नीचे दिखाए गए अनुसार क्लूडर प्रबंधक होमपेज >> होस्ट्स >> पार्सल पर जाएं

   अंजीर: मेजबानों से पार्सल का चयन करना

2. यदि आपको पार्सल की सूची में काफ्का नहीं दिखता है, तो आप सूची में पार्सल जोड़ सकते हैं।

1. आप जिस काफ्का संस्करण का उपयोग करना चाहते हैं, उसका पार्सल खोजें। यदि आप इसे नहीं देखते हैं, तो आप सूची में पार्सल भंडार जोड़ सकते हैं।
2. काफ्का के संस्करण के लिए पार्सल खोजें जिसे आप स्थापित करना चाहते हैं - अपाचे काफ्का संस्करणों का क्लॉउडर वितरण ।
   नीचे आंकड़ा समान प्रदर्शित करता है।

अंजीर: पार्सल के लिए रिपोजिटरी पथ।

३। उपरोक्त आकृति में दिखाए गए लिंक को कॉपी करें और इसे नीचे दिखाए गए अनुसार रिमोट पार्सल रिपॉजिटरी में जोड़ें।

अंजीर: रिपॉजिटरी से काफ्का पथ का जोड़

चार।रास्ता जोड़ने के बाद, काफ्का डाउनलोड के लिए तैयार हो जाएगा। आप बस डाउनलोड बटन पर क्लिक करें और काफ्का डाउनलोड कर सकते हैं।

जावा में सत्र कैसे बनाएं

अंजीर: कफका डाउनलोड करना

5. काफ्का डाउनलोड हो जाने के बाद, आपको इसे वितरित और सक्रिय करने की आवश्यकता है।

अंजीर: कफका सक्रिय करना

एक बार जब यह सक्रिय हो जाता है, तो आप आगे बढ़ सकते हैं और क्लाडर प्रबंधक में सेवा टैब में काफ्का देख सकते हैं।

चित्र: काफ्का सेवा

क्लोडेरा हडोप: एक ओजी वर्कफ़्लो बनाना

एक्सएमएल कोड को मैन्युअल रूप से लिखकर और फिर इसे निष्पादित करके वर्कफ़्लो बनाना जटिल है। आप इसे संदर्भित कर सकते हैं Oozie नौकरी का समय निर्धारण ब्लॉग, पारंपरिक दृष्टिकोण के बारे में जानने के लिए।

आप नीचे दी गई छवि देख सकते हैं, जहां हमने एक साधारण ओजी वर्कफ़्लो बनाने के लिए एक्सएमएल फ़ाइल लिखी है। अंजीर: एक पारंपरिक दृष्टिकोण का उपयोग कर एक Oozie वर्कफ़्लो बनाना

जैसा कि आप देख सकते हैं कि एक साधारण ऊज़ी शेड्यूलर बनाने के लिए हमें बहुत बड़ा XML कोड लिखना पड़ता है जो समय लेने वाला होता है, और हर एक लाइन को डीबग करना बोझिल हो जाता है। इससे उबरने के लिए, क्लाउडर मैनेजर ने एक नई सुविधा शुरू की, जिसका नाम है ह्यू जो ओओआई वर्कफ़्लोज़ बनाने और निष्पादित करने के लिए एक जीयूआई और एक सरल ड्रैग और ड्रॉप सुविधाएँ प्रदान करता है।

अब देखते हैं कि कैसे समान कार्य को सरल तरीके से किया जाता है।

वर्कफ़्लो बनाने से पहले, पहले इनपुट फ़ाइल बनाएँ, अर्थात् क्लिकस्ट्रीम। Txt और user.txt।
User.txt फ़ाइल में, हमारे पास उपयोगकर्ता आईडी, नाम, आयु, देश, लिंग जैसा कि नीचे दिखाया गया है। उपयोगकर्ता आईडी पर आधारित URL (क्लिकस्ट्रीम फ़ाइल में उल्लिखित) पर उपयोगकर्ता की गणना और क्लिक को जानने के लिए हमें इस उपयोगकर्ता फ़ाइल की आवश्यकता है।

अंजीर: एक पाठ फ़ाइल बनाना

प्रत्येक URL पर उपयोगकर्ता द्वारा क्लिक की संख्या जानने के लिए, हमारे पास एक क्लिकस्ट्रीम है जिसमें यूजर आईडी और URL हैं।

चित्र: क्लिकस्ट्रीम फ़ाइल

स्क्रिप्ट फ़ाइल में प्रश्नों को लिखें।

चित्र: स्क्रिप्ट फ़ाइल

उपयोगकर्ता फ़ाइल, क्लिकस्ट्रीम फ़ाइल और स्क्रिप्ट फ़ाइल बनाने के बाद, हम आगे जा सकते हैं और Oozie वर्कफ़्लो बना सकते हैं।

1. आप बस Oozie वर्कफ़्लो को ड्रैग और ड्रॉप कर सकते हैं जैसा कि इमेज में दिखाया गया है।

अंजीर: Oozie वर्कफ़्लो बनाने की सुविधा को खींचें और छोड़ें

2. अपनी कार्रवाई को छोड़ने के तुरंत बाद आपको स्क्रिप्ट फ़ाइल में पथ निर्दिष्ट करना होगा और स्क्रिप्ट फ़ाइल में उल्लिखित मापदंडों को जोड़ना होगा। यहां आपको OUTPUT, CLICKSTREAM और USER मापदंडों को जोड़ना होगा और प्रत्येक पैरामीटर के लिए पथ निर्दिष्ट करना होगा।

अंजीर: कार्रवाई को निष्पादित करने के लिए एक स्क्रिप्ट फ़ाइल और आवश्यक पैरामीटर जोड़ना

3. एक बार जब आप पथ निर्दिष्ट कर लेते हैं और पैरामीटर जोड़ देते हैं, तो अब नीचे दिए गए चित्र में दिखाए अनुसार वर्कफ़्लो को सहेजें और सबमिट करें।

अंजीर: ओजी कार्रवाई को सहेजना और सबमिट करना

4. एक बार जब आप कार्य सबमिट कर लेते हैं, तो आपका काम पूरा हो जाता है। निष्पादन और अन्य कदमों की देखभाल ह्यू द्वारा की जाती है।

अंजीर: Oozie नौकरी की निष्पादन स्थिति

५।अब जब हमने Oozie कार्य निष्पादित कर लिया है, तो आइए कार्रवाई टैब पर एक नज़र डालते हैं। इसमें उपयोगकर्ता आईडी और वर्कफ़्लो की स्थिति शामिल है। यदि वे कोई भी त्रुटि कोड दिखाते हैं, तो वे कार्रवाई आइटम का प्रारंभ और समाप्ति समय हैं।

अंजीर: ओज़ी वर्कफ़्लो के एक्शन टैब में मौजूद तत्व

6. एक्शन टैब के बगल में विवरण टैब है। इसमें, हम नौकरी के शुरुआती समय और अंतिम संशोधित समय को देख सकते हैं।

अंजीर: Oozie वर्कफ़्लो का विवरण।

7. विवरण टैब के आगे, हमारे पास वर्कफ़्लो का कॉन्फ़िगरेशन टैब है।

अंजीर: Oozie वर्कफ़्लो की कॉन्फ़िगरेशन सेटिंग्स

7. एक्शन आइटम को निष्पादित करते समय, यदि कोई त्रुटि है, तो इसे लॉग टैब में सूचीबद्ध किया जाएगा। आप त्रुटि कथनों का उल्लेख कर सकते हैं और तदनुसार डिबग कर सकते हैं।

जावा में चारैट का उपयोग कैसे करें

अंजीर: लॉग फ़ाइल जिसमें त्रुटि कोड और त्रुटि कथन हैं

8. यहाँ वर्कफ़्लो का एक्सएमएल कोड है जो ह्यू द्वारा स्वतः उत्पन्न होता है।

अंजीर: Oozie वर्कफ़्लो के XML कोड

9.1। जैसा कि आप चरण 2 में आउटपुट निर्देशिका के लिए पहले से ही पथ निर्दिष्ट कर चुके हैं, यहां आपके पास एचडीएफएस ब्राउज़र में आउटपुट निर्देशिका है जैसा कि नीचे दिखाया गया है।

अंजीर: HDFS ब्राउज़र की आउटपुट निर्देशिका

9.2 आउटपुट डायरेक्टरी पर क्लिक करने के बाद, आपको एक टेक्स्ट फाइल मिलेगी, जिसका नाम output.txt है और उस टेक्स्ट फाइल में वास्तविक आउटपुट है जैसा कि नीचे दिए गए चित्र में दिखाया गया है।

अंजीर: अंतिम आउटपुट पाठ

यह है कि कैसे एक Oozie वर्कफ़्लो बनाने के लिए ड्रैग और ड्रॉप विकल्प प्रदान करके ह्यू हमारे काम को सरल बनाता है।

मुझे उम्मीद है कि यह ब्लॉग Cloudera वितरण और विभिन्न Cloudera घटक को समझने के लिए उपयोगी था।

अब जब आप समझ गए हैं कि Cloudera Hadoop वितरण की जाँच करें 250,000 से अधिक संतुष्ट शिक्षार्थियों के एक नेटवर्क के साथ एक विश्वसनीय ऑनलाइन शिक्षण कंपनी, एडुरेका द्वारा, दुनिया भर में फैली हुई है। Edureka Big Data Hadoop सर्टिफिकेशन ट्रेनिंग कोर्स शिक्षार्थियों को रिटेल, सोशल मीडिया, एविएशन, टूरिज्म, फाइनेंस डोमेन पर रियल-टाइम उपयोग के मामलों का उपयोग करके HDFS, यार्न, MapReduce, Pig, Hive, HBase, Oozie, Flume और Sqoop में निपुण बनने में मदद करता है।

क्या आप हमसे कोई प्रश्न पूछना चाहते हैं? कृपया टिप्पणी अनुभाग में इसका उल्लेख करें और हम आपके पास वापस आ जाएंगे।