स्पार्क एमएललिब - अपाचे स्पार्क की मशीन लर्निंग लाइब्रेरी

स्पार्क एमएललिब अपाचे स्पार्क की मशीन लर्निंग घटक है।स्पार्क के प्रमुख आकर्षणों में से एक गणना बड़े पैमाने पर गणना करने की क्षमता है, और यह वही है जो आपको मशीन लर्निंग एल्गोरिदम के लिए आवश्यक है। लेकिन सीमा यह है कि सभी मशीन लर्निंग एल्गोरिदम को प्रभावी ढंग से समानांतर नहीं किया जा सकता है। समानांतरण के लिए प्रत्येक एल्गोरिदम की अपनी चुनौतियां हैं, चाहे वह कार्य समानता या डेटा समानता हो।

कहा जाता है कि, स्पार्क मशीन लर्निंग एल्गोरिदम और अनुप्रयोगों के निर्माण के लिए डी-फैक्टो प्लेटफॉर्म बन रहा है।ठीक है, तुम बाहर की जाँच कर सकते हैं ब्लॉग के आगे बढ़ने से पहले उद्योग विशेषज्ञों द्वारा क्यूरेट किया गया।स्पार्क एमएललिब पर काम करने वाले डेवलपर्स स्पार्क ढांचे में एक स्केलेबल और संक्षिप्त तरीके से अधिक से अधिक मशीन एल्गोरिदम को लागू कर रहे हैं। इस ब्लॉग के माध्यम से, हम मशीन लर्निंग, स्पार्क एमएललिब, इसकी उपयोगिताओं, एल्गोरिदम और मूवी सिफारिश सिस्टम के पूर्ण उपयोग के मामले की अवधारणाओं को जानेंगे।

इस ब्लॉग में निम्नलिखित विषयों को शामिल किया जाएगा:

1. मशीन लर्निंग क्या है?
2. स्पार्क एमएललिब अवलोकन
3. स्पार्क MLlib उपकरण
4. एमएललिब एल्गोरिदम
5. केस - मूवी अनुशंसा सिस्टम का उपयोग करें

मशीन लर्निंग क्या है?

आर्टिफिशियल इंटेलिजेंस में पैटर्न रिकॉग्निशन और कम्प्यूटेशनल लर्निंग थ्योरी के अध्ययन से विकसित, मशीन लर्निंग एल्गोरिदम के अध्ययन और निर्माण की पड़ताल करता है, जो डेटा से सीख सकता है और भविष्यवाणियां कर सकता है - ऐसे एल्गोरिदम डेटा-चालित पूर्वानुमान या निर्णय लेकर सख्ती से स्थैतिक कार्यक्रम निर्देशों का पालन करने से दूर हो जाते हैं। , नमूना आदानों से एक मॉडल के निर्माण के माध्यम से।

चित्र: मशीन लर्निंग उपकरण

मशीन लर्निंग कम्प्यूटेशनल आँकड़ों से निकटता से संबंधित है, जो कंप्यूटर के उपयोग के माध्यम से भविष्यवाणी-निर्माण पर भी ध्यान केंद्रित करता है। इसमें गणितीय अनुकूलन के मजबूत संबंध हैं, जो क्षेत्र में विधियों, सिद्धांत और अनुप्रयोग डोमेन को वितरित करता है। डेटा एनालिटिक्स के क्षेत्र के भीतर, मशीन लर्निंग एक ऐसी पद्धति है जिसका उपयोग जटिल मॉडल और एल्गोरिदम को तैयार करने के लिए किया जाता है जो खुद को एक भविष्यवाणी के लिए उधार देता है जिसे वाणिज्यिक उपयोग में पूर्वानुमानवादी विश्लेषण के रूप में जाना जाता है।

मशीन सीखने के कार्यों की तीन श्रेणियां हैं:

1. पर्यवेक्षित अध्ययन : पर्यवेक्षित शिक्षण वह जगह है जहां आपके पास इनपुट चर (x) और एक आउटपुट चर (Y) है और आप इनपुट से आउटपुट तक मानचित्रण फ़ंक्शन को जानने के लिए एक एल्गोरिथ्म का उपयोग करते हैं।
2. अनसुनी लर्निंग : अनसुप्राइज़्ड लर्निंग एक प्रकार की मशीन लर्निंग एल्गोरिदम है, जिसका उपयोग डेटासेट से इनवॉइस खींचने के लिए किया जाता है, जिसमें लेबल प्रतिक्रिया के बिना इनपुट डेटा शामिल है।
3. सुदृढीकरण सीखना : एक कंप्यूटर प्रोग्राम एक गतिशील वातावरण के साथ इंटरैक्ट करता है जिसमें उसे एक निश्चित लक्ष्य (जैसे कि वाहन चलाना या प्रतिद्वंद्वी के खिलाफ गेम खेलना) करना चाहिए। कार्यक्रम को पुरस्कार और दंड के संदर्भ में प्रतिक्रिया प्रदान की जाती है क्योंकि यह अपनी समस्या को स्थान देता है।इस अवधारणा को सुदृढीकरण सीखने कहा जाता है।

स्पार्क एमएललिब अवलोकन

स्पार्क एमएललिब का उपयोग अपाचे स्पार्क में मशीन सीखने के लिए किया जाता है। MLlib में लोकप्रिय एल्गोरिदम और उपयोगिताओं शामिल हैं।

MLlib अवलोकन:

• चिंगारी RDDs के शीर्ष पर बनाया गया मूल API शामिल है। यह वर्तमान में रखरखाव मोड में है।
• चिंगारी .ml के लिए DataFrames के शीर्ष पर निर्मित उच्च स्तरीय API प्रदान करता हैएमएल पाइपलाइनों का निर्माण। चिंगारी .ml फिलहाल स्पार्क के लिए प्राथमिक मशीन लर्निंग एपीआई है।

स्पार्क MLlib उपकरण

स्पार्क MLlib निम्नलिखित उपकरण प्रदान करता है:

• एमएल एल्गोरिदम: ML एल्गोरिदम MLlib के मूल का निर्माण करते हैं। इनमें सामान्य शिक्षण एल्गोरिदम जैसे वर्गीकरण, प्रतिगमन, क्लस्टरिंग और सहयोगी फ़िल्टरिंग शामिल हैं।
• करतब: Featurization में सुविधा निष्कर्षण, परिवर्तन, आयामीता में कमी और चयन शामिल हैं।
• पाइपलाइन: पाइप लाइन एमएल पाइपलाइनों के निर्माण, मूल्यांकन और ट्यूनिंग के लिए उपकरण प्रदान करती है।
• हठ: दृढ़ता एल्गोरिदम, मॉडल और पाइपलाइन को बचाने और लोड करने में मदद करती है।
• उपयोगिताएँ: उपयोगिताएँरेखीय बीजगणित, सांख्यिकी और डेटा हैंडलिंग के लिए।

एमएललिब एल्गोरिदम

स्पार्क एमएललिब में लोकप्रिय एल्गोरिदम और उपयोगिताओं हैं:

1. बुनियादी सांख्यिकी
2. प्रतिगमन
3. वर्गीकरण
4. सिफारिश प्रणाली
5. क्लस्टरिंग
6. आयाम में कमी
7. सुविधा निकालना
8. अनुकूलन

आइए हम इनमें से कुछ पर विस्तार से देखें।

बुनियादी सांख्यिकी

बुनियादी सांख्यिकी मशीन सीखने की तकनीक का सबसे बुनियादी शामिल है। इसमे शामिल है:

1. सारांश आँकड़े : उदाहरणों में माध्य, विचरण, गिनती, अधिकतम, न्यूनतम और संख्याजोन शामिल हैं।
2. सहसंबंध : स्पीयरमैन और पीयरसन सहसंबंध खोजने के कुछ तरीके हैं।
3. स्तरीकृत प्रतिचयन : इनमें नमूनाबिक और नमूना शामिल हैं।
4. परिकल्पना परीक्षण : पियर्सन का ची-स्क्वेर्ड परीक्षण परिकल्पना परीक्षण का एक उदाहरण है।
5. रैंडम डेटा जेनरेशन : रैंडम डेटा को जनरेट करने के लिए रैंडमआरडीडी, नॉर्मल और पॉइसन का इस्तेमाल किया जाता है।

प्रतिगमन

प्रतिगमन विश्लेषण चर के बीच संबंधों का आकलन करने के लिए एक सांख्यिकीय प्रक्रिया है। इसमें मॉडलिंग और कई चर का विश्लेषण करने के लिए कई तकनीकें शामिल हैं जब फ़ोकस एक आश्रित चर और एक या अधिक स्वतंत्र चर के बीच संबंधों पर होता है। अधिक विशेष रूप से, प्रतिगमन विश्लेषण से यह समझने में मदद मिलती है कि स्वतंत्र चर में से किसी एक के भिन्न होने पर आश्रित चर का विशिष्ट मूल्य कैसे बदल जाता है, जबकि अन्य स्वतंत्र चर निश्चित होते हैं।

प्रतिगमन विश्लेषण व्यापक रूप से भविष्यवाणी और पूर्वानुमान के लिए उपयोग किया जाता है, जहां इसका उपयोग मशीन सीखने के क्षेत्र के साथ पर्याप्त ओवरलैप है। प्रतिगमन विश्लेषण का उपयोग यह समझने के लिए भी किया जाता है कि कौन से स्वतंत्र चर निर्भर चर से संबंधित हैं, और इन संबंधों के रूपों का पता लगाने के लिए। प्रतिबंधित परिस्थितियों में, प्रतिगमन विश्लेषण का उपयोग स्वतंत्र और आश्रित चर के बीच कारण संबंधों का पता लगाने के लिए किया जा सकता है।

वर्गीकरण

वर्गीकरण श्रेणियों के एक सेट (उप-आबादी) में से एक की पहचान करने की समस्या एक नया अवलोकन है, जो अवलोकन (या उदाहरण) वाले डेटा के प्रशिक्षण सेट के आधार पर होती है, जिसकी श्रेणी सदस्यता ज्ञात है। यह पैटर्न मान्यता का एक उदाहरण है।

यहां, एक उदाहरण दिए गए ईमेल को 'स्पैम' या 'नॉन-स्पैम' कक्षाओं में निर्दिष्ट किया जाएगा या किसी दिए गए रोगी को एक निदान बताएंगे, जैसा कि रोगी की मनाया विशेषताओं (लिंग, रक्तचाप, उपस्थिति या कुछ लक्षणों की अनुपस्थिति) द्वारा वर्णित है, आदि।)।

सिफारिश प्रणाली

सेवा मेरे सिफारिश प्रणाली सूचना फ़िल्टरिंग प्रणाली का एक उपवर्ग है जो 'रेटिंग' या 'वरीयता' की भविष्यवाणी करना चाहता है जो एक उपयोगकर्ता किसी वस्तु को देगा। अनुशंसित सिस्टम हाल के वर्षों में तेजी से लोकप्रिय हो गए हैं, और फिल्मों, संगीत, समाचार, किताबें, अनुसंधान लेख, खोज क्वेरी, सामाजिक टैग और सामान्य रूप से उत्पादों सहित विभिन्न क्षेत्रों में उपयोग किए जाते हैं।

अनुशंसित प्रणाली आमतौर पर दो तरीकों में से एक में सिफारिशों की सूची तैयार करती है - सहयोगी और सामग्री-आधारित फ़िल्टरिंग या व्यक्तित्व-आधारित दृष्टिकोण के माध्यम से।

1. सहयोगी को छानने उपयोगकर्ता के पिछले व्यवहार (उन वस्तुओं को दी गई या चयनित और / या संख्यात्मक रेटिंग) के साथ-साथ अन्य उपयोगकर्ताओं द्वारा किए गए समान निर्णयों से मॉडल का निर्माण करना। इस मॉडल का उपयोग तब आइटम (या आइटम के लिए रेटिंग) की भविष्यवाणी करने के लिए किया जाता है, जिसमें उपयोगकर्ता की रुचि हो सकती है।
2. सामग्री-आधारित फ़िल्टरिंग दृष्टिकोण समान गुणों के साथ अतिरिक्त वस्तुओं की सिफारिश करने के लिए किसी आइटम की असतत विशेषताओं की एक श्रृंखला का उपयोग करते हैं।

इसके अलावा, इन दृष्टिकोणों को अक्सर हाइब्रिड सिफारिशकर्ता सिस्टम के रूप में जोड़ा जाता है।

क्लस्टरिंग

क्लस्टरिंग वस्तुओं के एक सेट को इस तरह से समूहीकृत करने का कार्य है कि एक ही समूह में वस्तुओं (एक क्लस्टर कहा जाता है) अधिक समान हैं (कुछ अर्थों में या किसी अन्य में) अन्य समूहों (समूहों) में उन लोगों की तुलना में। तो, यह खोज डेटा खनन का मुख्य कार्य है, और सांख्यिकीय डेटा विश्लेषण के लिए एक सामान्य तकनीक है, जिसका उपयोग कई क्षेत्रों में किया जाता है, जिसमें मशीन लर्निंग, पैटर्न मान्यता, छवि विश्लेषण, सूचना पुनर्प्राप्ति, जैव सूचना विज्ञान, डेटा संपीड़न और कंप्यूटर ग्राफिक्स शामिल हैं।

आयाम में कमी

आयाम में कमी मुख्य चर का एक सेट प्राप्त करने के माध्यम से, विचाराधीन यादृच्छिक चर की संख्या को कम करने की प्रक्रिया है। इसे सुविधा चयन और सुविधा निष्कर्षण में विभाजित किया जा सकता है।

1. फीचर चयन: फ़ीचर चयन मूल चर का एक सबसेट (जिसे सुविधाएँ या विशेषताएँ भी कहा जाता है) पाता है।
2. सुविधा निकालना: यह उच्च आयामी अंतरिक्ष में डेटा को कम आयामों के स्थान में बदल देता है। प्रिंसिपल कंपोनेंट एनालिसिस (PCA) में डेटा ट्रांसफ़ॉर्मेशन रेखीय हो सकता है, लेकिन कई ग़ैर-आयामी डायमेंशन रिडक्शन तकनीक भी मौजूद हैं।

सुविधा निकालना

सुविधा निकालना मापा डेटा के एक शुरुआती सेट से शुरू होता है और व्युत्पन्न मूल्यों (सुविधाओं) का निर्माण सूचनात्मक और गैर-निरर्थक होने के लिए होता है, जो बाद के सीखने और सामान्यीकरण चरणों की सुविधा प्रदान करता है, और कुछ मामलों में बेहतर मानव व्याख्याओं की ओर ले जाता है। यह आयामीता में कमी से संबंधित है।

अनुकूलन

अनुकूलन सर्वश्रेष्ठ का चयन हैउपलब्ध विकल्पों में से कुछ सेट से तत्व (कुछ मानदंड के संबंध में)।

सबसे सरल मामले में, एक अनुकूलन समस्या में एक वास्तविक फ़ंक्शन को अधिकतम करने या एक निर्धारित सेट के भीतर से इनपुट मानों को व्यवस्थित रूप से चुनने या फ़ंक्शन के मूल्य की गणना करके कम से कम करना शामिल है। अनुकूलन सिद्धांत और अन्य योगों के लिए तकनीकों के सामान्यीकरण में लागू गणित का एक बड़ा क्षेत्र शामिल है। अधिक आम तौर पर, अनुकूलन में परिभाषित डोमेन (या इनपुट) दिए गए कुछ उद्देश्य फ़ंक्शन के 'सर्वोत्तम उपलब्ध' मूल्य ढूंढना शामिल है,विभिन्न प्रकार के उद्देश्य कार्यों और विभिन्न प्रकार के डोमेन शामिल हैं।

अजगर में एक निर्माता क्या है

केस - मूवी अनुशंसा सिस्टम का उपयोग करें

समस्या का विवरण: मूवी अनुशंसा प्रणाली बनाने के लिए जो अपाचे स्पार्क का उपयोग करके उपयोगकर्ता की वरीयताओं के आधार पर फिल्मों की सिफारिश करती है।

हमारी आवश्यकताएँ:

तो, आइए हम अपनी फिल्म सिफारिश प्रणाली के निर्माण की आवश्यकताओं का आकलन करें:

1. बड़ी मात्रा में डेटा प्रोसेस करें
2. कई स्रोतों से इनपुट
3. प्रयोग करने में आसान
4. तेजी से प्रसंस्करण

जैसा कि हम आकलन कर सकते हैंहमारी आवश्यकताएं, हमें कम समय में बड़े डेटा को संसाधित करने के लिए सर्वश्रेष्ठ बिग डेटा टूल की आवश्यकता है। इसलिए, अपाचे स्पार्क हमारे मूवी सिफारिश प्रणाली को लागू करने के लिए सही उपकरण है।

आइए अब हम अपने सिस्टम के लिए फ्लो डायग्राम को देखें।

जैसा कि हम देख सकते हैं, निम्नलिखित स्पार्क स्ट्रीमिंग से स्ट्रीमिंग का उपयोग करता है। हम वास्तविक समय में स्ट्रीम कर सकते हैं या Hadoop HDFS से डेटा पढ़ सकते हैं।

डेटासेट प्राप्त करना:

हमारे मूवी अनुशंसा प्रणाली के लिए, हम कई लोकप्रिय वेबसाइटों जैसे IMDB, सड़े हुए टमाटर और टाइम्स मूवी रेटिंग से उपयोगकर्ता रेटिंग प्राप्त कर सकते हैं। यह डेटासेट कई स्वरूपों में उपलब्ध है जैसे CSV फ़ाइलें, पाठ फ़ाइलें aएन डी डेटाबेस। हम या तो वेबसाइटों से डेटा को लाइव स्ट्रीम कर सकते हैं या उन्हें डाउनलोड और स्टोर कर सकते हैंहमारी स्थानीय फ़ाइल प्रणाली या HDFS।

डेटासेट:

नीचे दिया गया आंकड़ा दिखाता है कि हम लोकप्रिय वेबसाइटों से डेटासेट कैसे एकत्र कर सकते हैं।

एक बार जब हम स्पार्क में डेटा स्ट्रीम करते हैं, तो यह कुछ इस तरह दिखता है।

यंत्र अधिगम:

पूरी सिफारिश प्रणाली मशीन लर्निंग एल्गोरिदम पर आधारित है बारी-बारी से कम से कम वर्ग । यहां, ALS एक प्रकार का प्रतिगमन विश्लेषण है जहां डेटा बिंदुओं के बीच एक रेखा को इस तरह खींचने के लिए प्रतिगमन का उपयोग किया जाता है ताकि प्रत्येक डेटा बिंदु से दूरी के वर्गों का योग कम से कम हो। इस प्रकार, यह रेखा तब फ़ंक्शन के मूल्यों की भविष्यवाणी करने के लिए उपयोग की जाती है जहां यह स्वतंत्र चर के मूल्य को पूरा करती है।

आरेख में नीली रेखा सबसे फिट प्रतिगमन रेखा है। इस रेखा के लिए, D का मान न्यूनतम है। अन्य सभी लाल रेखाएं हमेशा संपूर्ण के रूप में डेटासेट से दूर होंगी।

स्पार्क एमएललिब कार्यान्वयन:

1. हम अन्य फिल्मों के लिए उनकी रेटिंग के आधार पर विशेष फिल्मों के लिए उपयोगकर्ताओं की रेटिंग की भविष्यवाणी करने के लिए Collaborative Filtering (CF) का उपयोग करेंगे।
2. हम फिर उस विशेष फिल्म के लिए अन्य उपयोगकर्ताओं की रेटिंग के साथ सहयोग करते हैं।
3. हमारे मशीन लर्निंग से निम्नलिखित परिणाम प्राप्त करने के लिए, हमें स्पार्क एसक्यूएल के डेटाफ़्रेम, डेटासेट और एसक्यूएल सेवा का उपयोग करने की आवश्यकता है।

यहाँ हमारे कार्यक्रम के लिए छद्म कोड है:

आयात org.apache.spark.mllib.recommendation.ALS आयात org.apache.spark.mllib.recommendation.Rating आयात org.apache.spark.SparkConf // आयात अन्य आवश्यक पैकेज ऑब्जेक्ट मूवी (मुख्य) (args: Array [String] ) {वैल कॉन्फ = न्यू स्पार्ककॉन्फ़ ()। सेटऐपनाम ('मूवी')। सेटमास्टर ('लोकल [2]') वैल एससी = न्यू स्पार्ककॉन्टेक्स (कॉन्फिडेंस) वैल रॉडेटा = sc.textFile ('* मूवी CSV फ़ाइल से डेटा पढ़ें * ') //rawData.first () वैल रॉरटेटिंग = रॉडेटा.मैप (* टैब डिलिमिटर पर स्प्लिट रॉडेटा *) वैल रेटिंग्स = रॉरिटिंगमैपमैप {* यूजर, मूवी और रेटिंग का मैप केस अरेंजमेंट}}} - डेटा वैल मॉडल का प्रशिक्षण दें। = ALS.train (रेटिंग, 50, 5, 0.01) model.userFeatures model.userFeatures.count model.productFeatures.count val भविष्यवाणी की गई है = * मूवी 123 के लिए यूजर 789 के लिए भविष्यवाणी करें - वेल यूजर आईडी = * यूजर 789 * वैल के = 10 वैल। topKRecs = model.recommendProducts (* K के विशेष मूल्य के लिए उपयोगकर्ता के लिए अनुशंसा *) println (topKRecs.mkString ('')) वैल मूवीज = sc.textFile ('' मूवी की सूची डेटा पढ़ें * ') वैल टाइटल = movies.map (line => line.split ('|')) 2))। नक्शा (सरणी => (सरणी (0) .toInt, सरणी (1)))। संग्रहणीय () वैल शीर्षकोंRDD = movies.map (पंक्ति => line.split ('|')) (2) लें। ) .map (array => (array (0) .toInt, array (1)))। cache () टाइटल (123) वैल मूवीजफोरयूजर = रेटिंग्स। * यूजर 789 के लिए सर्च करें * val sqlContext = 'SQL कॉन्टेक्स्ट * वैल मूवीज रीक्रिएट करें।' = sqlContext। * अनुशंसित फिल्मों का एक डेटाफ्रेम बनाएं * MoviesRecommended.registerTempTable ('MoviesRecommendedTable') sqlContext.sql ('सेलेक्ट * (से) का चयन करें। * उपयोगकर्ता के लिए रेटिंग्स को क्रमबद्ध करें 789 * .मैप (* मूवी शीर्षक की रेटिंग का नक्शा *)। * रेटिंग प्रिंट करें * वैल परिणाम = moviesForUser.sortBy (-_। रेटिंग) .take (30) .map (रेटिंग => (शीर्षकों (रेटिंग), रेटिंग, रेटिंग))}}।

एक बार जब हम पूर्वानुमान उत्पन्न करते हैं, तो हम परिणामों को आरडीबीएमएस सिस्टम में संग्रहीत करने के लिए स्पार्क एसक्यूएल का उपयोग कर सकते हैं। इसके अलावा, यह एक वेब एप्लिकेशन पर प्रदर्शित किया जा सकता है।

परिणाम:

चित्र: उपयोगकर्ता 77 के लिए अनुशंसित फिल्में

हुर्रे! इस प्रकार हमने Apache Spark का उपयोग करके सफलतापूर्वक एक मूवी अनुशंसा प्रणाली बनाई है। इसके साथ, हमने कई लोकप्रिय एल्गोरिदम स्पार्क एमएललिब की पेशकश की है। हम डेटा विज्ञान एल्गोरिदम पर आगामी ब्लॉगों में मशीन लर्निंग के बारे में अधिक जानेंगे।

आगे बढ़ते हुए, आप स्पार्क ट्यूटोरियल, स्पार्क स्ट्रीमिंग ट्यूटोरियल के साथ अपाचे स्पार्क सीखना जारी रख सकते हैं, और स्पार्क साक्षात्कार प्रश्न।Edureka ऑनलाइन संभव सर्वोत्तम शिक्षण अनुभव प्रदान करने की दिशा में समर्पित है।

हमारी जाँच करें मैं च आप स्पार्क सीखना चाहते हैं और स्पार्क के क्षेत्र में अपना कैरियर बनाना चाहते हैं और वास्तविक जीवन के उपयोग के मामलों के साथ आरडीडी, स्पार्क स्ट्रीमिंग, स्पार्कक्यूएल, एमएललिब, ग्राफएक्स और स्काला का उपयोग करके बड़े पैमाने पर डेटा प्रोसेसिंग करने के लिए विशेषज्ञता का निर्माण करते हैं।