विषयसूची:

मैं अपने स्कूप प्रदर्शन को कैसे सुधार सकता हूं?
मैं अपने स्कूप प्रदर्शन को कैसे सुधार सकता हूं?

वीडियो: मैं अपने स्कूप प्रदर्शन को कैसे सुधार सकता हूं?

वीडियो: मैं अपने स्कूप प्रदर्शन को कैसे सुधार सकता हूं?
वीडियो: कमज़ोर मांसपेशियों के कारण होता है शरीर में दर्द, कैसे करें इसे ठीक? | सेहत 258 2024, अप्रैल
Anonim

अनुकूलन करने के लिए प्रदर्शन , सेट NS से कम मान वाले मानचित्र कार्यों की संख्या NS कनेक्शन की अधिकतम संख्या NS डेटाबेस का समर्थन करता है। को नियंत्रित करना NS समानता की मात्रा कि स्कूप डेटा ट्रांसफर करने के लिए उपयोग करेगा NS नियंत्रित करने का मुख्य तरीका NS लोड करना आपका डेटाबेस।

इसी तरह, क्या होता है यदि स्कूप किसी प्रक्रिया के बीच में विफल हो जाता है?

एक ठेठ स्कूप कार्य जो स्रोत डेटाबेस से डेटा को एचडीएफएस में अंतर्ग्रहण कर रहा है, डेटा को लक्ष्य निर्देशिका में कॉपी कर देगा। कॉपी की गई फाइल डिलीट होने वाली है यदि स्कूप विफल हो जाता है पूरा किए बिना।

कोई यह भी पूछ सकता है कि आप स्कूप में समानता कैसे प्राप्त करते हैं? को नियंत्रित करना समानता . स्कूप अधिकांश डेटाबेस स्रोतों से समानांतर में डेटा आयात करता है। आप -m या --num-mappers तर्क का उपयोग करके आयात करने के लिए उपयोग किए जाने वाले मानचित्र कार्यों (समानांतर प्रक्रियाओं) की संख्या निर्दिष्ट कर सकते हैं। इनमें से प्रत्येक तर्क एक पूर्णांक मान लेता है जो की डिग्री से मेल खाता है समानता रोजगार देना

नतीजतन, मैं अपने हाइव क्वेरी प्रदर्शन को कैसे सुधारूं?

नीचे उन अभ्यासों की सूची दी गई है जिनका पालन हम हाइव क्वेरीज़ को ऑप्टिमाइज़ करने के लिए कर सकते हैं।

  1. हाइव में संपीड़न सक्षम करें।
  2. ऑप्टिमाइज़ जॉइन।
  3. हाइव में ग्लोबल सॉर्टिंग से बचें।
  4. Tez एक्ज़ीक्यूशन इंजन सक्षम करें।
  5. LIMIT ऑपरेटर को ऑप्टिमाइज़ करें।
  6. समानांतर निष्पादन सक्षम करें।
  7. मैप्रेड्यूस सख्त मोड सक्षम करें।
  8. मल्टी ग्रुप बाय के लिए सिंगल रिड्यूस।

स्कूप स्प्लिट कैसे काम करता है?

इसका उपयोग अधिक समानता प्राप्त करके आयात प्रदर्शन को बढ़ाने के लिए किया जा सकता है। स्कूप बनाता है विभाजन तालिका के किसी विशेष कॉलम में मानों के आधार पर जो निर्दिष्ट किया जाता है - विभाजित करना -उपयोगकर्ता द्वारा आयात कमांड के माध्यम से। यदि यह उपलब्ध नहीं है, तो इनपुट तालिका की प्राथमिक कुंजी का उपयोग बनाने के लिए किया जाता है विभाजन.

सिफारिश की: