इस ब्लॉग में, हम देखते हैं कि एक विशिष्ट Hadoop संस्करण के लिए स्पार्क का निर्माण कैसे करें।
हम HIVE और YARN के साथ स्पार्क का निर्माण करना सीखेंगे।
शेफ सर्वर कैसे स्थापित करें
जिसको देखते हुए आपके पास है हडोप, जडक, मवन तथा जाओ आपके सिस्टम पर पूर्व-स्थापित और पूर्व-कॉन्फ़िगर।
खुला हुआ मोज़िला ब्राउज़र और डाउनलोड करें चिंगारी नीचे दिए गए लिंक का उपयोग कर।
https://edureka.wistia.com/medias/k14eamzaza/
टर्मिनल खोलें।
कमांड: tar -xvf डाउनलोड / स्पार्क-1.1.1.tgz
आज्ञा: ls
स्पार्क-1.1.1 निर्देशिका खोलें।
तुमसे खुल सकता है pom.xml फ़ाइल। यह फाइल आपको सभी के बारे में जानकारी देती है निर्भरता आप की जरूरत है।
परेशानी से बाहर रहने के लिए इसे संपादित न करें।
कमांड: सीडी स्पार्क-1.1.1 /
आदेश: sudo gedit sbt / sbt-launch-lib.bash
फाइल को स्नैपशॉट के नीचे संपादित करें, इसे सहेजें और इसे बंद करें।
हम नीचे स्नैपशॉट में उल्लिखित ऑब्जेक्ट हीप स्पेस समस्या से बचने के लिए मेमोरी को कम कर रहे हैं।
अब Hive और YARN के साथ Hadoop 2.2.0 के लिए स्पार्क बनाने के लिए टर्मिनल में नीचे कमांड चलाएं।
आज्ञा: ./sbt/sbt -P सूत -प छत्ता -पीडूप-2.2-डी hasoop.version = 2.2.0-डी छोड़ देता है सभा
नोट: मेरा Hadoop संस्करण 2.2.0 है, आप इसे अपने Hadoop संस्करण के अनुसार बदल सकते हैं।
अन्य Hadoop संस्करणों के लिए
# अपाचे हडोप 2.0.5-अल्फा
-धूप। विसर्जन = 2.0.5-अल्फा
# क्लूडा सीडीएच 4.2.0
-धूप। विसर्जन = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-पद्योप-०.२३ -धडूप। विसर्जन = ०.२३.23
# Apache Hadoop 2.3.X
-पद्युप -२.३ -धूप। विसर्जन = २.३.०
# Apache Hadoop 2.4.X
-पद्युप -२.४ -धूप। विसर्जन = २.४.०
संकलन और पैकेजिंग के लिए कुछ समय लगेगा, कृपया इसे पूरा होने तक प्रतीक्षा करें।
दो जार स्पार्क-असेंबली-1.1.1-hadoop2.2.0.jar तथा स्पार्क-उदाहरण-1.1.1-hadoop2.2.0.jar बन जाता है।
का पथ स्पार्क-असेंबली-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
का पथ स्पार्क-उदाहरण-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
बधाई हो, आपने हाइव एंड यार्न के लिए स्पार्क का सफलतापूर्वक निर्माण किया है।
क्या आप हमसे कोई प्रश्न पूछना चाहते हैं? कृपया टिप्पणी अनुभाग में उनका उल्लेख करें और हम आपके पास वापस आ जाएंगे।
संबंधित पोस्ट:
हडोप के साथ अपाचे स्पार्क-यह क्यों मायने रखता है?