लिनक्स पर Apache Pig इंस्टॉलेशन



यह ब्लॉग लिनक्स वातावरण पर अपाचे पिग इंस्टॉलेशन के लिए कदम से कदम गाइड है। हम अपाचे सुअर 0.16.0 स्थापित करेंगे और इसे विभिन्न मोड में चलाएंगे।

इस पोस्ट में, मैं बात करूंगा लिनक्स पर अपाचे सुअर स्थापना । अपाचे सुअर और सुअर लैटिन की मूल परिभाषा के साथ शुरू करते हैं।

अपाचे सुअर Hadoop के साथ उपयोग किए जाने वाले मैप रिड्यूस प्रोग्राम को बनाने और निष्पादित करने के लिए एक उपकरण / मंच है। यह डेटा के बड़े सेटों के विश्लेषण के लिए एक उपकरण / मंच है। आप कह सकते हैं, अपाचे सुअर MapReduce पर एक अमूर्त है। प्रोग्रामर जो जावा में बहुत अच्छे नहीं हैं, वे हेडरोप जॉब्स लिखते समय प्रमुख रूप से हडोप पर काम करते हुए संघर्ष करते थे।तो, यह जानने और मास्टर करने के लिए एक महत्वपूर्ण विषय है अपाचे पिग की अपनी भाषा है सुअर लैटिन जो गरीब प्रोग्रामर के लिए वरदान है।





सुअर लैटिन के लिए एक बुनियादी परिचय आपको बेहतर समझने में मदद करेगा:

Apache Pig प्लेटफ़ॉर्म में प्रयुक्त उच्च स्तरीय प्रक्रियात्मक भाषा को कहा जाता है सुअर लैटिन । Apache Pig में Latin Pig Latin ’की सुविधा है जो अपेक्षाकृत सरल भाषा है जो Hadoop फाइल सिस्टम (HDFS) पर वितरित डेटासेट पर चल सकती है। Apache Pig में, आपको Pig Latin भाषा का उपयोग करते हुए Pig स्क्रिप्ट्स लिखने की आवश्यकता होती है, जो आपके द्वारा चलाए जाने वाले Pig script के समय MapReduce जॉब में परिवर्तित हो जाती है।। अपाचे पिग में विभिन्न ऑपरेटर हैं जो डेटा को पढ़ने, लिखने, प्रसंस्करण जैसे कार्यों को करने के लिए उपयोग किए जाते हैं। अपाचे सुअर ऑपरेटरों के बारे में जानने के लिए, हमारे ब्लॉग पर जाएँ ” Apache Pig में ऑपरेटर्स: पार्ट 1- रिलेशनल ऑपरेटर्स ”।

अब जब आपको Apache Pig की बुनियादी समझ हो गई है, तो आइए लिनक्स पर Apache Pig इंस्टालेशन के साथ शुरू करते हैं।



Linux पर Apache Pig इंस्टॉलेशन:

नीचे लिनक्स पर Apache Pig इंस्टॉलेशन के चरण दिए गए हैं (लिनक्स वीएम का उपयोग करके ubuntu / centos / windows)। मैं नीचे दिए गए सेटअप में Ubuntu 16.04 का उपयोग कर रहा हूं।

स्टेप 1: डाउनलोड सुअर टार फ़ाइल।

आदेश: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz



डाउनलोड सुअर - सुअर स्थापना - एडुरका

चरण 2: निकाले टार टार कमांड का उपयोग कर फ़ाइल। टार कमांड के नीचे, एक्स एक संग्रह फ़ाइल निकालने का मतलब है, साथ से इसका मतलब है कि gzip के माध्यम से एक संग्रह को फ़िल्टर करें, एक संग्रह फ़ाइल का फ़ाइल नाम का मतलब है।

आदेश: tar -xzf pig-0.16.0.tar.gz

आदेश: ls

जावा कास्ट स्ट्रिंग टू डेट

चरण 3: 'संपादित करें' .bashrc अपाचे सुअर के पर्यावरण चर को अद्यतन करने के लिए फ़ाइल। हम इसे सेट कर रहे हैं ताकि हम किसी भी निर्देशिका से सुअर तक पहुंच सकें, हमें सुअर आदेशों को निष्पादित करने के लिए सुअर निर्देशिका में जाने की आवश्यकता नहीं है। साथ ही, यदि कोई अन्य एप्लिकेशन Pig की तलाश कर रहा है, तो उसे इस फाइल से Apache Pig का रास्ता पता चल जाएगा।

आदेश: सूद gedit .bashrc

फ़ाइल के अंत में निम्नलिखित जोड़ें:

# PIG_HOME सेट करें

निर्यात PIG_HOME = / home / edureka / pig-0.16.0
निर्यात PATH = $ PATH: /home/edureka/pig-0.16.0/bin
PIG_CLASSPATH = $ HADOOP_CONF_DIR को निर्यात करें

इसके अलावा, सुनिश्चित करें कि हडूप मार्ग भी निर्धारित है।

उसी टर्मिनल में परिवर्तन को अद्यतन करने के लिए कमांड के नीचे चलाएँ।

आदेश: source .bashrc

चरण 4: सुअर संस्करण की जाँच करें। यह परीक्षण करना है कि अपाचे सुअर सही तरीके से स्थापित हो गया है। यदि आपको अपाचे पिग संस्करण प्राप्त नहीं होता है, तो आपको सत्यापित करना होगा कि आपने उपरोक्त चरणों का सही तरीके से पालन किया है।

आदेश: सूअर का मांस

चरण 5 :सभी सुअर कमांड विकल्पों को देखने के लिए सुअर की मदद की जाँच करें।

आदेश: सुअर

चरण 6 :ग्रन्ट शेल शुरू करने के लिए सुअर को चलाएँ। पिग लैटिन लिपियों को चलाने के लिए ग्रंट शेल का उपयोग किया जाता है।

आदेश: सुअर

ट्रिम () जावा में

यदि आप उपरोक्त छवि को सही ढंग से देखते हैं, तो Apache Pig में दो मोड हैं, जिसमें वह चला सकता है, डिफ़ॉल्ट रूप से यह MapReduce मोड चुनता है। दूसरी मोड जिसमें आप पिग चला सकते हैं वह है लोकल मोड। इसके बारे में आपको कुछ और बताता हूं।

अपाचे सुअर में निष्पादन मोड:

  • MapReduce मोड - यह डिफ़ॉल्ट मोड है, जिसमें एक Hadoop क्लस्टर और HDFS इंस्टॉलेशन तक पहुंच की आवश्यकता होती है। चूंकि, यह एक डिफ़ॉल्ट मोड है, -x ध्वज को निर्दिष्ट करना आवश्यक नहीं है (आप निष्पादित कर सकते हैं सुअर या सुअर -x नक्शा ) का है। इस मोड में इनपुट और आउटपुट एचडीएफएस पर मौजूद हैं।
  • स्थानीय मोड - एकल मशीन के उपयोग के साथ, सभी फाइलें एक स्थानीय होस्ट और फाइल सिस्टम का उपयोग करके स्थापित की जाती हैं। यहां ’-x ध्वज’ का उपयोग करके स्थानीय मोड निर्दिष्ट किया गया है () सुअर -x स्थानीय ) का है। इस मोड में इनपुट और आउटपुट स्थानीय फ़ाइल सिस्टम पर मौजूद हैं।

आदेश: सुअर -x स्थानीय

लिनक्स पर अपाचे सुअर इंस्टॉलेशन देखने के लिए आप नीचे वीडियो के माध्यम से जा सकते हैं:

अपाचे सुअर स्थापना | लिनक्स पर सुअर स्थापना | Edureka

अब जब आप लिनक्स पर अपाचे पिग इंस्टॉलेशन के साथ किया जाता है, तो अगला कदम आगे पिग ग्रंट शेल पर कुछ रिलेशनल पिग ऑपरेटरों को आज़माना है। इसलिए, अगला ब्लॉग ' Apache Pig में ऑपरेटर्स: पार्ट 1- रिलेशनल ऑपरेटर्स “आप सुअर ऑपरेटरों को मास्टर करने में मदद करेंगे।

अब जब आप लिनक्स पर Apache Pig स्थापित कर चुके हैं, तो देखें 250,000 से अधिक संतुष्ट शिक्षार्थियों के एक नेटवर्क के साथ एक विश्वसनीय ऑनलाइन शिक्षण कंपनी, एडुरेका द्वारा, दुनिया भर में फैली हुई है। Edureka Big Data Hadoop सर्टिफिकेशन ट्रेनिंग कोर्स शिक्षार्थियों को रिटेल, सोशल मीडिया, एविएशन, टूरिज्म, फाइनेंस डोमेन पर रियल-टाइम उपयोग के मामलों का उपयोग करके HDFS, यार्न, MapReduce, Pig, Hive, HBase, Oozie, Flume और Sqoop में निपुण बनने में मदद करता है।

क्या आप हमसे कोई प्रश्न पूछना चाहते हैं? कृपया टिप्पणी अनुभाग में इसका उल्लेख करें और हम आपके पास वापस आ जाएंगे।