Hadoop स्थापित करें: एक एकल नोड Hadoop क्लस्टर की स्थापना

Hadoop स्थापित करें: एक एकल नोड Hadoop क्लस्टर की स्थापना

पर हमारे पिछले ब्लॉगों से , आपको Hadoop, HDFS और इसकी वास्तुकला के बारे में एक सैद्धांतिक विचार प्राप्त होना चाहिए।लेकिन पाने के लिए आपको अच्छे हाथों की जरूरत है।मुझे उम्मीद है कि आपको हमारा पिछला ब्लॉग पसंद आया होगा , अब मैं आपको Hadoop और HDFS के बारे में व्यावहारिक ज्ञान के माध्यम से ले जाऊंगा। Hadoop स्थापित करने के लिए पहला कदम है।

Hadoop को स्थापित करने के दो तरीके हैं, अर्थात्। एकल नोड तथा मल्टी नोड ।

एकल नोड क्लस्टर एक मशीन पर सभी NameNode, DataNode, ResourceManager और NodeManager को स्थापित करने और स्थापित करने के लिए केवल एक DataNode का मतलब है। इसका उपयोग अध्ययन और परीक्षण उद्देश्यों के लिए किया जाता है। उदाहरण के लिए, आइए हम एक स्वास्थ्य सेवा उद्योग के अंदर एक नमूना डेटा सेट पर विचार करें। इसलिए, परीक्षण के लिए कि क्या Oozie नौकरियों ने डेटा को एक उचित अनुक्रम में एकत्रित करने, एकत्र करने, भंडारण और प्रसंस्करण जैसी सभी प्रक्रियाओं को निर्धारित किया है, हम एकल नोड क्लस्टर का उपयोग करते हैं। यह आसानी से और कुशलता से बड़े वातावरण की तुलना में एक छोटे वातावरण में अनुक्रमिक वर्कफ़्लो का परीक्षण कर सकता है जिसमें सैकड़ों मशीनों में वितरित डेटा के टेराबाइट्स शामिल हैं।

जबकि ए में मल्टी नोड क्लस्टर , एक से अधिक DataNode चल रहे हैं और प्रत्येक DataNode विभिन्न मशीनों पर चल रहा है। मल्टी नोड क्लस्टर का उपयोग व्यावहारिक रूप से बिग डेटा के विश्लेषण के लिए संगठनों में किया जाता है। उपरोक्त उदाहरण को ध्यान में रखते हुए, वास्तविक समय में जब हम डेटा की पेटाबाइट्स से निपटते हैं, तो इसे संसाधित होने के लिए सैकड़ों मशीनों में वितरित किया जाना चाहिए। इस प्रकार, यहां हम मल्टी नोड क्लस्टर का उपयोग करते हैं।

इस ब्लॉग में, मैं आपको दिखाऊंगा कि एक नोड नोड क्लस्टर पर Hadoop कैसे स्थापित किया जाए।

पूर्वापेक्षाएँ

• वायरल बॉक्स : इसका उपयोग उस पर ऑपरेटिंग सिस्टम को स्थापित करने के लिए किया जाता है।
• ऑपरेटिंग सिस्टम : आप लिनक्स आधारित ऑपरेटिंग सिस्टम पर Hadoop स्थापित कर सकते हैं। उबंटू और सेंटोस का उपयोग आमतौर पर किया जाता है। इस ट्यूटोरियल में, हम CentOS का उपयोग कर रहे हैं।
• जावा : आपको अपने सिस्टम पर जावा 8 पैकेज स्थापित करना होगा।
• HADOOP : आपको Hadoop 2.7.3 पैकेज की आवश्यकता है।

Hadoop स्थापित करें

स्टेप 1: यहां क्लिक करें जावा 8 पैकेज डाउनलोड करने के लिए। इस फाइल को अपने होम डायरेक्टरी में सेव करें।

चरण 2: जावा टार फ़ाइल को निकालें।

कमान : tar -xvf jdk-8u101-linux-i586.tar.gz

अंजीर: Hadoop स्थापना - जावा फ़ाइलें निकालने

.trim () जावा

चरण 3: Hadoop 2.7.3 पैकेज डाउनलोड करें।

कमान : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

चित्र: Hadoop स्थापना - Hadoop डाउनलोड करना

चरण 4: Hadoop tar फ़ाइल को निकालें।

कमान : tar -xvf hadoop-2.7.3.tar.gz

अंजीर: Hadoop स्थापना - Hadoop फ़ाइलें निकालना

चरण 5: बैश फ़ाइल (.bashrc) में Hadoop और Java पथ जोड़ें।

खुला हुआ । Bashrc फ़ाइल। अब, नीचे दिखाए गए अनुसार Hadoop और Java Path जोड़ें।

कमान : vi .bashrc

अंजीर: Hadoop स्थापना - पर्यावरण चर स्थापित करना

फिर, बैश फ़ाइल को सहेजें और इसे बंद करें।

इन सभी परिवर्तनों को वर्तमान टर्मिनल पर लागू करने के लिए, स्रोत कमांड निष्पादित करें।

कमान : source .bashrc

अंजीर: Hadoop स्थापना - ताज़ा वातावरण चर

यह सुनिश्चित करने के लिए कि आपके सिस्टम पर जावा और हडोप को ठीक से स्थापित किया गया है और टर्मिनल, ई के माध्यम से पहुँचा जा सकता हैjava -version और hadoop version कमांड को एक्स्यूट्यूट करें।

कमान : जावा-विरोध

अंजीर: Hadoop स्थापना - जावा संस्करण की जाँच

कमान : हूप किया थासंस्करण

अंजीर: Hadoop स्थापना - Hadoop संस्करण की जाँच

चरण 6 : संपादित करें ।

आदेश: सीडी हडॉप-2.7.3 / आदि / हडूप /

आदेश: ls

सभी Hadoop कॉन्फ़िगरेशन फ़ाइल में स्थित हैं हडूप -२. 2.7.३ / / आदि / हडूप निर्देशिका के रूप में आप नीचे स्नैपशॉट में देख सकते हैं:

अंजीर: Hadoop स्थापना - Hadoop कॉन्फ़िगरेशन फ़ाइलें

चरण 7 : खुला हुआ कोर- site.xml और विन्यास टैग के अंदर नीचे दी गई संपत्ति को संपादित करें:

कोर- site.xml Hadoop डेमन को सूचित करता है कि NameNode क्लस्टर में कहां चलता है। इसमें Hadoop कोर की कॉन्फ़िगरेशन सेटिंग्स शामिल हैं जैसे कि I / O सेटिंग्स जो HDFS और MapReduce के लिए सामान्य हैं।

ansible बनाम कठपुतली बनाम शेफ

कमान : vi कोर- site.xml

अंजीर: Hadoop स्थापना - कोर-site.xml कॉन्फ़िगर करना

fs.default.name hdfs: // localhost: 9000

चरण 8: संपादित करें hdfs-site.xml और विन्यास टैग के अंदर नीचे दी गई संपत्ति को संपादित करें:

hdfs-site.xml इसमें HDFS डेमों (यानी NameNode, DataNode, माध्यमिक NameNode) की कॉन्फ़िगरेशन सेटिंग्स शामिल हैं। इसमें HDFS की प्रतिकृति कारक और ब्लॉक आकार भी शामिल है।

कमान : vi hdfs-site.xml

अंजीर: Hadoop स्थापना - hdfs-site.xml कॉन्फ़िगर करना

dfs.replication 1 dfs.permission झूठा

चरण 9 : संपादित करें mapred-site.xml कॉन्फ़िगरेशन टैग के अंदर नीचे दी गई संपत्ति को फ़ाइल करें और संपादित करें:

mapred-site.xml जेवीएम की संख्या जैसे मैपरेड्यूस एप्लिकेशन की कॉन्फ़िगरेशन सेटिंग्स सम्‍मिलित हैं, जो समानांतर में चल सकती हैं, मैपर का आकार और रिड्यूसर प्रक्रिया, एक प्रक्रिया के लिए सीपीयू कोर, आदि।

कुछ मामलों में, mapred-site.xml फ़ाइल उपलब्ध नहीं है। तो, हमें Mapred-site.xml फ़ाइल बनानी होगीMapred-site.xml टेम्पलेट का उपयोग करना।

कमान : cp mapred-site.xml.template mapred-site.xml

कमान : हम मानचित्रित-साइट।xml।

अंजीर: Hadoop इंस्टॉलेशन - मेप्रेड-site.xml को कॉन्फ़िगर करना

mapreduce.framework.name यार्न

चरण 10: संपादित करें यार्न- site.xml और विन्यास टैग के अंदर नीचे दी गई संपत्ति को संपादित करें:

यार्न- site.xml इसमें रिसोर्स मैनजर और NodeManager की कॉन्फ़िगरेशन सेटिंग्स शामिल हैं जैसे एप्लिकेशन मेमोरी मैनेजमेंट साइज, प्रोग्राम और एल्गोरिदम पर आवश्यक ऑपरेशन आदि।

कमान : vi यार्न- site.xml

अंजीर: Hadoop स्थापना - यार्न-site.xml कॉन्फ़िगर करना

यार्न। नोओडमेनेगर.ऑक्स-सर्विसेज मेप्रेड्यूज़_शफल यार्न। नोओडमेनेगर। ऑक्स सर्विसेज़।

चरण 11: संपादित करें हडूप-env.sh और नीचे बताए अनुसार जावा पथ जोड़ें:

हडूप-env.sh पर्यावरण चर शामिल हैं जो कि Hadoop को चलाने के लिए स्क्रिप्ट में उपयोग किए जाते हैं जैसे जावा होम पाथ, आदि।

कमान : हम हूप किया था-env।श

अंजीर: Hadoop स्थापना - hadoop-env.sh को कॉन्फ़िगर करना

चरण 12: Hadoop होम डायरेक्टरी में जाएं और NameNode को फॉर्मेट करें।

कमान : सीडी

कमान : सीडी हडूप-2.7.3

कमान : बिन / हडूप उद्देश्य -रूप

अंजीर: Hadoop स्थापना - स्वरूपण NameNode

यह NameNode के माध्यम से HDFS को प्रारूपित करता है। यह आदेश केवल पहली बार निष्पादित किया गया है। फ़ाइल सिस्टम को प्रारूपित करने का अर्थ है dfs.name.dir चर द्वारा निर्दिष्ट निर्देशिका को आरंभ करना।

Hadoop फाइल सिस्टम को कभी भी फॉर्मेट, अप और रन करना। आप एचडीएफएस में संग्रहीत अपने सभी डेटा को खो देंगे।

चरण 13: एक बार NameNode फॉर्मेट हो जाने के बाद, hadoop-2.7.3 / sbin डायरेक्टरी में जाएं और सभी डेमों को शुरू करें।

आदेश: सीडी हडूप-2.7.3 / sbin

या तो आप सभी डेमों को एक ही कमांड से शुरू कर सकते हैं या व्यक्तिगत रूप से कर सकते हैं।

आदेश: ./ start-all.sh

उपरोक्त आदेश का एक संयोजन है start-dfs.sh, start-yarn.sh और mr-jobhistory-daemon.sh

या आप नीचे दी गई सभी सेवाओं को व्यक्तिगत रूप से चला सकते हैं:

NameNode प्रारंभ करें:

NameNode एक HDFS फ़ाइल सिस्टम का केंद्र बिंदु है। यह एचडीएफएस में संग्रहीत सभी फाइलों की निर्देशिका ट्री रखता है और क्लस्टर भर में संग्रहीत सभी फ़ाइल को ट्रैक करता है।

आदेश: ./hasoop-daemon.sh प्रारंभ उद्देश्य

एक नंबर जावा का भाज्य

अंजीर: Hadoop स्थापना - NameNode शुरू

डेटानेट प्रारंभ करें:

स्टार्टअप पर, एक DataNode Namenode से जुड़ता है और यह अलग-अलग ऑपरेशन के लिए Namenode के अनुरोधों का जवाब देता है।

आदेश: ./hasoop-daemon.sh स्टार्ट डेटानोड

अंजीर: Hadoop स्थापना - DataNode शुरू

संसाधन प्रबंधन प्रारंभ करें:

रिसोर्स मैनेजर वह मास्टर है जो सभी उपलब्ध क्लस्टर संसाधनों को मध्यस्थता करता है और इस प्रकार यार्न प्रणाली पर चलने वाले वितरित अनुप्रयोगों के प्रबंधन में मदद करता है। इसका काम प्रत्येक नोडमैन और प्रत्येक एप्लिकेशन के एप्लिकेशनमास्टर का प्रबंधन करना है।

आदेश: ./yarn-daemon.sh स्टार्ट रिसोर्समैन

अंजीर: Hadoop स्थापना - संसाधन प्रबंधक शुरू करना

NodeManager प्रारंभ करें:

प्रत्येक मशीन ढांचे में NodeManager एजेंट है जो कंटेनरों के प्रबंधन, उनके संसाधन उपयोग की निगरानी करने और ResourceManager के लिए समान रिपोर्ट करने के लिए जिम्मेदार है।

आदेश: ./yarn-demon.sh प्रारंभ नोडमैन

अंजीर: Hadoop स्थापना - NodeManager शुरू

JobHistoryServer प्रारंभ करें:

JobHistoryServer क्लाइंट से सभी नौकरी के इतिहास से संबंधित अनुरोधों की सेवा के लिए जिम्मेदार है।

कमान : ./rr-jobhistory-daemon.sh प्रारंभ इतिहासकार

चरण 14: यह जांचने के लिए कि सभी Hadoop सेवाएं ऊपर और चल रही हैं, नीचे दी गई कमांड चलाएं।

आदेश: कूदता है

अंजीर: Hadoop स्थापना - Daemons जाँच

चरण 15: अब मोज़िला ब्राउज़र खोलें और पर जाएं लोकलहोस्ट : 50070 / dfshealth.html NameNode इंटरफ़ेस की जाँच करने के लिए।

अंजीर: Hadoop स्थापना - WebUI शुरू

बधाई हो, आपने एक बार में एक ही नोड हडोप क्लस्टर स्थापित किया है।के हमारे अगले ब्लॉग में , हम कवर करेंगे कि कैसे एक मल्टी नोड क्लस्टर पर Hadoop स्थापित किया जाए।

अब जब आप समझ गए हैं कि Hadoop कैसे स्थापित करें, तो देखें 250,000 से अधिक संतुष्ट शिक्षार्थियों के एक नेटवर्क के साथ एक विश्वसनीय ऑनलाइन शिक्षण कंपनी, एडुरेका द्वारा, दुनिया भर में फैली हुई है। Edureka Big Data Hadoop सर्टिफिकेशन ट्रेनिंग कोर्स शिक्षार्थियों को रिटेल, सोशल मीडिया, एविएशन, टूरिज्म, फाइनेंस डोमेन पर रियल-टाइम उपयोग के मामलों का उपयोग करके HDFS, यार्न, MapReduce, Pig, Hive, HBase, Oozie, Flume और Sqoop में निपुण बनने में मदद करता है।

क्या आप हमसे कोई प्रश्न पूछना चाहते हैं? कृपया टिप्पणी अनुभाग में इसका उल्लेख करें और हम आपके पास वापस आ जाएंगे।