Hadoop 2.0 क्लस्टर आर्किटेक्चर फेडरेशन का अवलोकन



Apache Hadoop 2.x में Hadoop 1.x पर महत्वपूर्ण सुधार शामिल हैं। यह ब्लॉग Hadoop 2.0 क्लस्टर आर्किटेक्चर फेडरेशन और इसके घटकों के बारे में बात करता है।

Hadoop 2.0 क्लस्टर आर्किटेक्चर फेडरेशन

परिचय:

इस ब्लॉग में, मैं Hadoop 2.0 क्लस्टर आर्किटेक्चर फेडरेशन में गहरा गोता लगाऊंगा। Apache Hadoop 1.x की रिलीज के बाद से Apache Hadoop काफी विकसित हुआ है। जैसा कि आप मेरे पिछले ब्लॉग से जानते हैं कि द मास्टर / स्लेव टोपोलॉजी का अनुसरण करता है, जहां NameNode एक मास्टर डेमॉन के रूप में कार्य करता है और DataNodes नामक अन्य दास नोड्स के प्रबंधन के लिए जिम्मेदार है। इस पारिस्थितिक तंत्र में, यह एकल मास्टर डेमन या नेमोडोड एक अड़चन बन जाता है और इसके विपरीत, कंपनियों को नामनोड की आवश्यकता होती है जो अत्यधिक उपलब्ध है। यह बहुत ही कारण HDFS फेडरेशन आर्किटेक्चर और की नींव बन गया हा (उच्च उपलब्धता) वास्तुकला

इस ब्लॉग में मैंने जिन विषयों को शामिल किया है वे इस प्रकार हैं:





  • वर्तमान HDFS आर्किटेक्चर
  • वर्तमान एचडीएफएस वास्तुकला की सीमाएं
  • HDFS फेडरेशन आर्किटेक्चर

वर्तमान एचडीएफएस वास्तुकला का अवलोकन:

सिंगल नेमस्पेस एचडीएफएस आर्किटेक्चर - हडोप 2.0 क्लस्टर आर्किटेक्चर फेडरेशन - एडुर्का का अवलोकन

जैसा कि आप ऊपर के चित्र में देख सकते हैं, वर्तमान HDFS में दो परतें हैं:



कैसे विंडोज़ पर php स्थापित करने के लिए
  • एचडीएफएस नेमस्पेस (एनएस): यह परत निर्देशिकाओं, फ़ाइलों और ब्लॉकों के प्रबंधन के लिए जिम्मेदार है। यह फ़ाइल या फ़ाइल निर्देशिकाओं को बनाने, हटाने या संशोधित करने जैसे नामस्थान से संबंधित सभी फ़ाइल सिस्टम ऑपरेशन प्रदान करता है।
  • भंडारण परत: इसमें दो बुनियादी घटक शामिल हैं।
    1. ब्लॉक प्रबंधन : यह निम्नलिखित कार्य करता है:
      • समय-समय पर DataNodes की दिल की धड़कन की जाँच करता है और यह क्लस्टर के लिए DataNode सदस्यता का प्रबंधन करता है।
      • ब्लॉक रिपोर्ट का प्रबंधन करता है और ब्लॉक स्थान रखता है।
      • ब्लॉक स्थान के निर्माण, संशोधन, विलोपन और आवंटन जैसे ब्लॉक संचालन का समर्थन करता है।
      • क्लस्टर भर में लगातार प्रतिकृति कारक बनाए रखता है।

२। भौतिक संग्रहण : यह DataNodes द्वारा प्रबंधित किया जाता है जो डेटा संग्रहीत करने के लिए ज़िम्मेदार होते हैं और जिससे HDFS में संग्रहीत डेटा को रीड / राइट एक्सेस प्रदान करता है।

तो, वर्तमान HDFS आर्किटेक्चर आपको क्लस्टर के लिए एक ही नामस्थान रखने की अनुमति देता है। इस आर्किटेक्चर में, एक NameNode नामस्थान के प्रबंधन के लिए जिम्मेदार है। यह वास्तुकला बहुत सुविधाजनक और लागू करने में आसान है। इसके अलावा, यह छोटे उत्पादन क्लस्टर की जरूरतों को पूरा करने के लिए पर्याप्त क्षमता प्रदान करता है।

वर्तमान HDFS की सीमाएं:

जैसा कि पहले चर्चा की गई थी, वर्तमान एचडीएफएस ने एक छोटे उत्पादन क्लस्टर की जरूरतों और उपयोग के मामलों के लिए पर्याप्त था। लेकिन, याहू, फेसबुक जैसे बड़े संगठनों ने कुछ सीमाएं पाईं क्योंकि एचडीएफएस क्लस्टर तेजी से बढ़ा। आइए हम कुछ सीमाओं पर एक त्वरित नज़र डालें:



  1. नाम स्थान है स्केलेबल नहीं है DataNodes की तरह। इसलिए, हमारे पास क्लस्टर में DataNodes की केवल एक ही संख्या हो सकती है जो किसी NameNode को संभाल सकती है।
  2. दो परतें, यानी नेमस्पेस लेयर और स्टोरेज लेयर हैं मजबूती के साथ जोड़ना जो NameNode के वैकल्पिक कार्यान्वयन को बहुत मुश्किल बना देता है।
  3. पूरे Hadoop System का प्रदर्शन निर्भर करता है थ्रूपुट NameNode का। इसलिए, सभी HDFS संचालन का संपूर्ण प्रदर्शन इस बात पर निर्भर करता है कि NameNode किसी विशेष समय में कितने कार्यों को संभाल सकता है।
  4. NameNode तीव्र पहुँच के लिए RAM में संपूर्ण नामस्थान संग्रहीत करता है। यह सीमाओं के संदर्भ में होता है मेमोरी क्षमता अर्थात् नामस्थान ऑब्जेक्ट्स (फ़ाइलें और ब्लॉक) की संख्या जो एकल नाम स्थान सर्वर के साथ सामना कर सकती है।
  5. HDFS परिनियोजन वाले कई संगठन (विक्रेता), कई संगठनों (किरायेदार) को उनके क्लस्टर नामस्थान का उपयोग करने की अनुमति देते हैं। इसलिए, नामस्थान का पृथक्करण नहीं है और इसलिए, वहाँ है कोई अलगाव नहीं किरायेदार संगठन के बीच जो क्लस्टर का उपयोग कर रहे हैं।

HDFS फेडरेशन आर्किटेक्चर:

  • एचडीएफएस फेडरेशन आर्किटेक्चर में, हमारे पास नाम सेवा की क्षैतिज मापनीयता है। इसलिए, हमारे पास कई NameNodes हैं, जो फेडरेटेड हैं, यानी एक-दूसरे से स्वतंत्र हैं।
  • DataNodes नीचे यानि अंडररिंग स्टोरेज लेयर पर मौजूद होता है।
  • प्रत्येक DataNode क्लस्टर में सभी NameNodes के साथ पंजीकृत करता है।
  • DataNodes समय-समय पर दिल की धड़कन को प्रसारित करता है, रिपोर्ट्स को ब्लॉक करता है और NameNodes से कमांड संभालता है।

एचडीएफएस फेडरेशन आर्किटेक्चर का सचित्र प्रतिनिधित्व नीचे दिया गया है:

आगे बढ़ने से पहले, मुझे उपरोक्त वास्तु छवि के बारे में संक्षेप में बताएं:

  • कई नामस्थान (NS1, NS2,…, NSn) हैं और उनमें से प्रत्येक अपने संबंधित NameNode द्वारा प्रबंधित है।
  • प्रत्येक नेमस्पेस का अपना ब्लॉक पूल है (NS1 में पूल 1 है, NSk में पूल के और इतने पर हैं)।
  • जैसा कि छवि में दिखाया गया है, पूल 1 (स्काई ब्लू) से ब्लॉक डेटाएनोड 1, डेटानोड 2 और इसी तरह संग्रहीत किए जाते हैं। इसी तरह, प्रत्येक ब्लॉक पूल से सभी ब्लॉक सभी डेटानेट पर निवास करेंगे।

अब, एचडीएफएस फेडरेशन आर्किटेक्चर के घटकों को विस्तार से समझते हैं:

ब्लॉक पूल:

ब्लॉक पूल एक विशिष्ट नेमस्पेस से संबंधित ब्लॉक के अलावा कुछ भी नहीं है। तो, हमारे पास ब्लॉक पूल का एक संग्रह है जहां प्रत्येक ब्लॉक पूल को दूसरे से स्वतंत्र रूप से प्रबंधित किया जाता है। यह स्वतंत्रता जहां प्रत्येक ब्लॉक पूल को स्वतंत्र रूप से प्रबंधित किया जाता है, अन्य नामों के साथ समन्वय के बिना नए ब्लॉक के लिए ब्लॉक आईडी बनाने के लिए नाम स्थान की अनुमति देता है। सभी ब्लॉक पूल में मौजूद डेटा ब्लॉक सभी डेटाएनोड्स में संग्रहीत किए जाते हैं। मूल रूप से, ब्लॉक पूल एक अमूर्तता प्रदान करता है जैसे कि डेटा नोड्स में रहने वाले डेटा ब्लॉक (जैसा कि सिंगल नेमस्पेस आर्किटेक्चर में) को एक विशेष नामस्थान के अनुसार समूहीकृत किया जा सकता है।

नाम स्थान मात्रा:

Namespace की मात्रा इसके ब्लॉक पूल के साथ नामस्थान के अलावा और कुछ नहीं है। इसलिए, एचडीएफएस फेडरेशन में हमारे पास कई नामस्थान खंड हैं। यह प्रबंधन की एक स्व-निहित इकाई है, अर्थात प्रत्येक नाम स्थान की मात्रा स्वतंत्र रूप से कार्य कर सकती है। यदि NameNode या नाम स्थान हटा दिया जाता है, तो संबंधित ब्लॉक पूल जो DataNodes पर रहता है, वह भी हटा दिया जाएगा।

Hadoop 2.0 क्लस्टर आर्किटेक्चर फेडरेशन पर डेमो | Edureka

अब, मुझे लगता है कि आपके पास एचडीएफएस फेडरेशन आर्किटेक्चर के बारे में बहुत अच्छा विचार है। यह एक सैद्धांतिक अवधारणा से अधिक है और लोग आम तौर पर व्यावहारिक उत्पादन प्रणाली में इसका उपयोग नहीं करते हैं। एचडीएफएस फेडरेशन के साथ कुछ कार्यान्वयन मुद्दे हैं जो इसे तैनात करना मुश्किल बनाता है। इसलिए हा (उच्च उपलब्धता) वास्तुकला विफलता के एकल बिंदु को हल करने के लिए पसंद किया जाता है। मैंने कवर किया है एचडीएफएस हा आर्किटेक्चर मेरे अगले ब्लॉग में

अब जब आप Hadoop HDFS फेडरेशन आर्किटेक्चर को समझ गए हैं, तो देखें 250,000 से अधिक संतुष्ट शिक्षार्थियों के एक नेटवर्क के साथ एक विश्वसनीय ऑनलाइन शिक्षण कंपनी, एडुरेका द्वारा, दुनिया भर में फैली हुई है। Edureka Big Data Hadoop सर्टिफिकेशन ट्रेनिंग कोर्स, शिक्षार्थियों को रिटेल, सोशल मीडिया, एविएशन, टूरिज्म, फाइनेंस डोमेन पर रियल-टाइम उपयोग मामलों का उपयोग करके HDFS, यार्न, MapReduce, Pig, Hive, HBase, Oozie, Flume और Sqoop में विशेषज्ञ बनने में मदद करता है।

क्या आप हमसे कोई प्रश्न पूछना चाहते हैं? कृपया टिप्पणी अनुभाग में इसका उल्लेख करें और हम आपके पास वापस आ जाएंगे।