हाइव और यार्न स्पार्क पर उदाहरण

हमने सीखा है कि कैसे स्पार्क पर हाइव और यार्न का निर्माण करें । अब स्पार्क पर हाइव और यार्न के उदाहरण देखें।

स्पार्क पर हाइव उदाहरण

हम स्पार्क पर हाइव का एक उदाहरण चलाएंगे। हम एक तालिका बनाएंगे, उस तालिका में डेटा लोड करेंगे और एक सरल क्वेरी निष्पादित करेंगे। हाइव के साथ काम करते समय, एक का निर्माण करना चाहिए HiveContext जो विरासत में मिला है SQLContext ।

आदेश: सीडी स्पार्क-1.1.1

आदेश: ./bin/spark-shell

एक इनपुट फ़ाइल बनाएँ ‘नमूना’ नीचे स्नैपशॉट (टैब अलग) के रूप में अपने घर निर्देशिका में।

आदेश: वैल sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)

आदेश: sqlContext.sql ('सृजन योग्य परीक्षण नहीं होने पर परीक्षा (नाम STRING, रैंक INT) राउ फॉरमेट डेलिमेट फिल्ड्स द्वारा लिखित ES ES लिनेन द्वारा लिखित)
‘”)

आदेश: sqlContext.sql ('लोड डेटा स्थानीय INPATH home / घर / edureka / नमूना 'INTO टेबल परीक्षण')

जावा में ट्रिम का उपयोग कैसे करें

आदेश: sqlContext.sql (“चयन करें * परीक्षण से जहां रैंक<5”).collect().foreach(println)

स्पार्क पर यार्न उदाहरण

हम यार्न पर स्पार्कपी उदाहरण चलाएंगे। हम यार्न को स्पार्क पर दो मोड में वितरित कर सकते हैं: क्लस्टर मोड और क्लाइंट मोड। यार्न-क्लस्टर मोड में, स्पार्क ड्राइवर एक एप्लिकेशन मास्टर प्रक्रिया के अंदर चलता है जिसे यार्न द्वारा क्लस्टर पर प्रबंधित किया जाता है, और क्लाइंट एप्लिकेशन शुरू करने के बाद दूर जा सकता है। यार्न-क्लाइंट मोड में, ड्राइवर क्लाइंट प्रक्रिया में चलता है, और एप्लिकेशन मास्टर का उपयोग केवल यार्न से संसाधनों का अनुरोध करने के लिए किया जाता है।

आदेश: सीडी स्पार्क-1.1.1

आदेश: SPARK_JAR =। असेंबली / टारगेट / स्कैला-2.10 / स्पार्क-असेंबली-1.1.1-hadoop2.2.0.jar ./bin/spark-submit-master यार्न -डेप्लो-मोड क्लस्टर -क्लास org.apache.spark.examples। स्पार्की-एनम-एग्ज़िक्यूमेर्स 1 -driver-memory 2g –executor-memory 1g –executor-cores 1 उदाहरण / लक्ष्य / scala-2.10 / स्पार्क-उदाहरण-1.1.1-hadoop2.2.0.0.jar

उपरोक्त कमांड निष्पादित करने के बाद, कृपया कुछ समय तक प्रतीक्षा करें सफल हुए संदेश।

ब्राउज़ करें लोकलहोस्ट: 8088 / क्लस्टर और स्पार्क एप्लिकेशन पर क्लिक करें।

php कैसे सेट करें

पर क्लिक करें लॉग करता है ।

पर क्लिक करें टालमटोल करना आउटपुट की जांच करने के लिए।

क्लाइंट मोड में स्पार्क पर यार्न की तैनाती के लिए, बस बनाएं -डिप्लो-मोड जैसा 'ग्राहक'। अब, आप जानते हैं कि स्पार्क पर हाइव और यार्न का निर्माण कैसे किया जाता है। हमने उन पर प्रैक्टिकल भी किए।

क्या आप हमसे कोई प्रश्न पूछना चाहते हैं? कृपया टिप्पणी अनुभाग में उनका उल्लेख करें और हम आपके पास वापस आ जाएंगे।

संबंधित पोस्ट

हडोप के साथ अपाचे स्पार्क-यह क्यों मायने रखता है?

हाइव और यार्न स्पार्क द्वारा विद्युतीकृत हो जाते हैं