विषयसूची:

क्या मैं हडूप पर पायथन चला सकता हूँ?
क्या मैं हडूप पर पायथन चला सकता हूँ?

वीडियो: क्या मैं हडूप पर पायथन चला सकता हूँ?

वीडियो: क्या मैं हडूप पर पायथन चला सकता हूँ?
वीडियो: How to Learn Python With Full Information? – [Hindi] – Quick Support 2024, अप्रैल
Anonim

जावा, स्काला और. जैसी प्रोग्रामिंग भाषाओं के बीच एक विकल्प के साथ अजगर के लिये हडूप पारिस्थितिकी तंत्र, अधिकांश डेवलपर्स उपयोग करते हैं अजगर डेटा एनालिटिक्स कार्यों के लिए इसके सहायक पुस्तकालयों के कारण। हडूप स्ट्रीमिंग उपयोगकर्ता को बनाने की अनुमति देती है और निष्पादित करना मैपर या/और रेड्यूसर के रूप में किसी भी स्क्रिप्ट या निष्पादन योग्य के साथ नौकरियों को मानचित्र/कम करें।

इसी तरह, यह पूछा जाता है कि पायथन हडूप से कैसे जुड़ता है?

Hadoop HDFS को Python से जोड़ना

  1. Step1: सुनिश्चित करें कि Hadoop HDFS सही तरीके से काम कर रहा है। टर्मिनल/कमांड प्रॉम्प्ट खोलें, जांचें कि क्या एचडीएफएस निम्नलिखित कमांड का उपयोग करके काम कर रहा है: start-dfs.sh।
  2. चरण 2: libhdfs3 पुस्तकालय स्थापित करें।
  3. Step3: hdfs3 लाइब्रेरी स्थापित करें।
  4. चरण 4: जांचें कि क्या एचडीएफएस के साथ कनेक्शन सफल है।

इसी तरह, Python में Hadoop क्या है? अजगर संपूर्ण प्रोग्रामिंग भाषा को ट्यूरिंग करने का एक सामान्य उद्देश्य है जिसका उपयोग प्रोग्रामिंग की दुनिया में लगभग सब कुछ करने के लिए किया जा सकता है। हडूप बड़ी मात्रा में डेटा से निपटने के लिए जावा में लिखा गया एक बड़ा डेटा ढांचा है। कई ऑनलाइन संस्थान हैं जो हडूप साथ अजगर पाठ्यक्रम जैसे: एनालिटिक्सलैब्स। एडुरेका।

इसके बाद, प्रश्न यह है कि, मैं Hadoop में Python MapReduce प्रोग्राम कैसे चला सकता हूँ?

पायथन में एक Hadoop MapReduce प्रोग्राम लिखना

  1. प्रेरणा।
  2. हम क्या करना चाहते हैं।
  3. पूर्वापेक्षाएँ।
  4. पायथन मैपरेडस कोड। मानचित्र चरण: mapper.py। कदम कम करें: reducer.py।
  5. हडूप पर पायथन कोड चलाना। उदाहरण इनपुट डेटा डाउनलोड करें। स्थानीय उदाहरण डेटा को एचडीएफएस में कॉपी करें।
  6. बेहतर मैपर और रेड्यूसर कोड: पायथन इटरेटर और जनरेटर का उपयोग करना। mapper.py. रेड्यूसर.पी.ई.

हडूप स्ट्रीमिंग जार क्या है?

हडूप वितरण एक जावा उपयोगिता प्रदान करता है जिसे कहा जाता है हडूप स्ट्रीमिंग . यह एक में पैक किया गया है जार फ़ाइल। साथ में हडूप स्ट्रीमिंग , हम एक निष्पादन योग्य स्क्रिप्ट के साथ मैप रिड्यूस जॉब्स बना और चला सकते हैं। हडूप स्ट्रीमिंग एक उपयोगिता है जो के साथ आती है हडूप वितरण। इसका उपयोग बड़े डेटा विश्लेषण के लिए कार्यक्रमों को निष्पादित करने के लिए किया जा सकता है।

सिफारिश की: