Hadoop क्लस्टर में नोड्स को कमीशन और डिमोशन करना



क्या आप जानते हैं कि Hadoop क्लस्टर में नोड्स कैसे जोड़ें या निकालें? यहाँ आप के लिए एक ब्लॉग पोस्ट है - एक हाडूप क्लस्टर में कमीशन और डिमोशनिंग नोड्स।

Hadoop ढांचे की सबसे आकर्षक विशेषताओं में से एक इसकी है कमोडिटी हार्डवेयर का उपयोग । हालाँकि, यह एक Hadoop क्लस्टर में लगातार DataNode क्रैश की ओर जाता है। Hadoop फ्रेमवर्क की एक और खास बात है डेटा वॉल्यूम में तेजी से वृद्धि के अनुसार पैमाने में आसानी । इन दो कारणों के कारण, एक Hadoop एडमिनिस्ट्रेटर का सबसे आम कार्य है आयोग (जोड़ें) और क्षय (निकालें) एक Hadoop क्लस्टर में डेटा नोड्स।

जावा में जेट कंपाइलर क्या है

Hadoop क्लस्टर में नोड्स को चालू और अस्वीकृत करना:

एक Hadoop क्लस्टर में डेटा नोड्स को डिमोशनिंग (हटाना)





ऊपर आरेख क्लस्टर में एक DataNode डिक्रिप्शन करने के लिए कदम प्रक्रिया द्वारा एक कदम दिखाता है।

पहला काम first अपडेट करना है निकालना Both दोनों के लिए फाइलें HDFS (hdfs-site.xml) और मानचित्र छोटा करना (mapred-site.xml)।



The 'फ़ाइल बाहर करें:

  • नौकरीपेशा के लिए इसमें मेजबानों की सूची शामिल है जिसे नौकरीपेशा द्वारा बाहर रखा जाना चाहिए। यदि मान रिक्त है, तो कोई होस्ट बाहर रखा गया है।
  • नमनोडे के लिए इसमें मेजबानों की एक सूची शामिल है जिन्हें नामेनोड से कनेक्ट करने की अनुमति नहीं है।

यहाँ hdfs-site.xml और mapred-site.xml में बहिष्कृत फ़ाइल के लिए नमूना विन्यास है:

hdfs-site.xml




dfs.hosts.exclude
/ होम / हैडूप / बहिष्कृत
सच

mapred-site.xml


mapred.hosts.exclude
/ होम / हैडूप / बहिष्कृत
सच

ध्यान दें: फ़ाइलों का पूर्ण पथनाम निर्दिष्ट होना चाहिए।

इसी तरह, हमारे पास ’शामिल’ फाइलें हैं:

  • नौकरीपेशा के लिए नोड्स की सूची से युक्त जो जॉबट्रैक से जुड़ सकते हैं। यदि मान रिक्त है, तो सभी होस्ट की अनुमति है।
  • नमनोडे के लिए उन मेजबानों की सूची से युक्त हैं जिन्हें नामेनोड से जुड़ने की अनुमति है। यदि मान रिक्त है, तो सभी होस्ट की अनुमति है।

dfsadmin ' तथा ' एक प्रकार का वृक्ष 'आदेश नए नोड से अवगत कराने के लिए परिवर्तनों के साथ कॉन्फ़िगरेशन को ताज़ा करते हैं।

दास 'मास्टर सर्वर पर फ़ाइल में सभी डेटा नोड्स की सूची है। भविष्य के हूप डेमॉन स्टार्ट / स्टॉप में किसी भी मुद्दे को सुनिश्चित करने के लिए इसे भी अपडेट किया जाना चाहिए।

डेटा नोड कमीशन प्रक्रिया में महत्वपूर्ण कदम क्लस्टर बैलेंसर को चलाना है।

> हूप बैलेंसर -थ्रेशोल्ड 40

नाचनेवाला पुराने नोड्स से नए कमीशन नोड्स में ब्लॉक डेटा की प्रतिलिपि बनाकर डेटा नोड्स के बीच एक निश्चित सीमा तक संतुलन प्रदान करने का प्रयास करता है।

तो, यह है कि आप कैसे कर सकते हैं - कमीशन देना तथा डिक्स्मिशनिंग Hadoop क्लस्टर में नोड्स।

क्या आप हमसे कोई प्रश्न पूछना चाहते हैं? कृपया टिप्पणी अनुभाग में इसका उल्लेख करें और हम आपके पास वापस आ जाएंगे।

सम्बंधित लिंक्स: