सुअर प्रोग्रामिंग: अपना पहला अपाचे सुअर स्क्रिप्ट बनाएँ



अपना पहला Apache Pig स्क्रिप्ट बनाने के लिए इस ब्लॉग पोस्ट को पढ़ें। Apache Pig स्क्रिप्ट का उपयोग Apache Pig कमांड के एक समूह को सामूहिक रूप से निष्पादित करने के लिए किया जाता है।

सुअर प्रोग्रामिंग: अपना पहला अपाचे सुअर स्क्रिप्ट बनाएँ

हमारे में , अब हम सीखेंगे कि Apache Pig स्क्रिप्ट कैसे बनाई जाती है। Apache Pig स्क्रिप्ट का उपयोग Apache Pig कमांड के एक समूह को सामूहिक रूप से निष्पादित करने के लिए किया जाता है। यह सुअर प्रोग्रामिंग में ऐसा करते समय प्रत्येक कमांड को मैन्युअल रूप से लिखने और निष्पादित करने में निवेश किए गए समय और प्रयास को कम करने में मदद करता है।यह भी इसका एक अभिन्न हिस्सा है यह ब्लॉग आपकी पहली Apache Pig स्क्रिप्ट बनाने में आपकी मदद करने के लिए एक कदम दर कदम गाइड है।

अपाचे सुअर स्क्रिप्ट निष्पादन मोड

स्थानीय मोड : 'स्थानीय मोड' में, आप स्थानीय फ़ाइल सिस्टम में पिग स्क्रिप्ट निष्पादित कर सकते हैं। इस स्थिति में, आपको डेटा को Hadoop HDFS फ़ाइल सिस्टम में संग्रहीत करने की आवश्यकता नहीं है, इसके बजाय आप स्थानीय फ़ाइल सिस्टम में संग्रहीत डेटा के साथ काम कर सकते हैं।





MapReduce मोड : Needs MapReduce mode ’में, डेटा को HDFS फाइल सिस्टम में स्टोर करने की आवश्यकता होती है और आप पिग स्क्रिप्ट की मदद से डेटा को प्रोसेस कर सकते हैं।

MapReduce मोड में Apache Pig स्क्रिप्ट

मान लें कि हमारा कार्य डेटा फ़ाइल से डेटा पढ़ना और टर्मिनल पर आवश्यक सामग्री को आउटपुट के रूप में प्रदर्शित करना है।



नमूना डेटा फ़ाइल में निम्न डेटा होता है:

सूचना txt फ़ाइल - अपाचे सुअर स्क्रिप्ट - एडुरका

’Information.txt’ नाम के साथ टेक्स्ट फ़ाइल सहेजें



नमूना डेटा फ़ाइल में पाँच कॉलम होते हैं पहला नाम , उपनाम , मोबाइल नहीं है , Faridabad , तथा पेशा द्वारा अलग किया गया चाबी दबाएं । हमारा काम इस फ़ाइल की सामग्री को एचडीएफएस से पढ़ना और इन रिकॉर्डों के सभी स्तंभों को प्रदर्शित करना है।

सुअर का उपयोग करके इस डेटा को संसाधित करने के लिए, यह फ़ाइल Apache Hadoop HDFS में मौजूद होनी चाहिए।

कमान : हैडूप fs –copyFromLocal /home/edureka/information.txt / edureka

स्टेप 1: पिग लिपि लिखना

एक संपादक (जैसे gedit) में एक अपाचे सुअर स्क्रिप्ट फ़ाइल बनाएँ और खोलें।

कमान : सूदो गेदित / हूमे / युरेका /आउटपुट.पिग

यह कमांड edureka उपयोगकर्ता की होम डायरेक्टरी के अंदर एक ‘output.pig’ फाइल बनाएगी।

आउटपुट में कुछ PIG कमांड लिखने दें।

A = LOAD '/edureka/information.txt' का उपयोग करके PigStorage ('') as (FName: chararray, LName: chararray, MobileNo: chararray, शहर: chararray, पेशा, chararray) B = FOREACH एक उत्पन्न FName, MobileNo, Profession DUMP बी

फ़ाइल को सहेजें और बंद करें।

  • पहली कमांड अप्रत्यक्ष स्कीमा (FName, LName, MobileNo, City, Profession) के साथ चर ए में फ़ाइल 'information.txt' को लोड करती है।
  • दूसरा कमांड वेरिएबल A से वेरिएबल B तक आवश्यक डेटा लोड करता है।
  • तीसरी पंक्ति टर्मिनल / कंसोल पर चर बी की सामग्री को प्रदर्शित करती है।

चरण 2: अपाचे सुअर स्क्रिप्ट निष्पादित करें

HDFS मोड में पिग स्क्रिप्ट निष्पादित करने के लिए, निम्न कमांड चलाएँ:

कमान : पिग / हॉम / यूरेका / आउटपुट.पिग

निष्पादन समाप्त होने के बाद, परिणाम की समीक्षा करें। ये नीचे की छवियां परिणाम और उनके मध्यवर्ती मानचित्र दिखाती हैं और फ़ंक्शन कम करती हैं।

नीचे दी गई छवि से पता चलता है कि स्क्रिप्ट सफलतापूर्वक निष्पादित हुई।

नीचे की छवि हमारी स्क्रिप्ट का परिणाम दिखाती है।

अपने पहले अपाचे सुअर स्क्रिप्ट को सफलतापूर्वक निष्पादित करने के लिए बधाई!

अब आप जानते हैं, कि Apache Pig स्क्रिप्ट कैसे बनाते और निष्पादित करते हैं। इसलिए, हमारा अगला ब्लॉग कैसे कवर किया जाएगा Apache Pig में UDF (User Defined Functions) बनाएं और इसे MapReduce / HDFS मोड में निष्पादित करें।

अब जब आपने अपाचे पिग स्क्रिप्ट को बनाया और निष्पादित किया है, तो देखें 250,000 से अधिक संतुष्ट शिक्षार्थियों के एक नेटवर्क के साथ एक विश्वसनीय ऑनलाइन शिक्षण कंपनी, एडुरेका द्वारा, दुनिया भर में फैली हुई है। Edureka Big Data Hadoop सर्टिफिकेशन ट्रेनिंग कोर्स शिक्षार्थियों को रिटेल, सोशल मीडिया, एविएशन, टूरिज्म, फाइनेंस डोमेन पर रियल-टाइम उपयोग के मामलों का उपयोग करके HDFS, यार्न, MapReduce, Pig, Hive, HBase, Oozie, Flume और Sqoop में निपुण बनने में मदद करता है।

आप लिखने और डेटा लिखने के लिए फ़ाइल खोलने के लिए मुद्रण लेखक वर्ग का उपयोग कर सकते हैं।

क्या आप हमसे कोई प्रश्न पूछना चाहते हैं? कृपया टिप्पणी अनुभाग में इसका उल्लेख करें और हम आपके पास वापस आ जाएंगे।