Hadoop में डेटा स्थानीयकरण कैसे प्राप्त किया जाता है?

2024 लेखक: Lynn Donovan | [email protected]. अंतिम बार संशोधित: 2023-12-15 23:47

डेटा स्थानीयकरण में हडूप . Wordcount का नमूना लें, जहां अधिकांश शब्दों को 5 लाख या अधिक बार दोहराया गया है। उस स्थिति में मैपर चरण के बाद, प्रत्येक मैपर आउटपुट में 5 लाख की सीमा में शब्द होंगे। मैपर आउटपुट को LFS में स्टोर करने की इस पूरी प्रक्रिया को कहा जाता है डेटा स्थानीयकरण.

इसे ध्यान में रखते हुए, Hadoop में डेटा स्थानीयकरण क्या है?

इसकी अवधारणा आंकड़े इलाके में हडूप डेटा इलाके में मानचित्र छोटा करना गणना को वास्तविक के करीब ले जाने की क्षमता को संदर्भित करता है आंकड़े बड़े होने के बजाय नोड पर रहता है आंकड़े गणना के लिए। यह नेटवर्क की भीड़ को कम करता है और सिस्टम के समग्र थ्रूपुट को बढ़ाता है।

इसके अलावा, बड़ा डेटा कैसे संग्रहीत किया जाता है? अधिकांश लोग स्वचालित रूप से HDFS, या Hadoop डिस्ट्रिब्यूटेड फाइल सिस्टम को Hadoop के साथ जोड़ देते हैं आंकड़े गोदाम एचडीएफएस छोटे ब्लॉकों से बने समूहों में जानकारी संग्रहीत करता है। ये ब्लॉक हैं संग्रहित ऑनसाइट फिजिकल में भंडारण इकाइयाँ, जैसे आंतरिक डिस्क ड्राइव।

बस इतना ही, Hadoop में डेटा कैसे स्टोर किया जाता है?

पर हडूप क्लस्टर, आंकड़े HDFS के भीतर और MapReduce सिस्टम क्लस्टर में प्रत्येक मशीन पर रखे जाते हैं। आंकड़े है संग्रहित में आंकड़े DataNodes पर ब्लॉक। एचडीएफएस उनको दोहराता है आंकड़े ब्लॉक, आमतौर पर 128 एमबी आकार में, और उन्हें वितरित करता है ताकि उन्हें क्लस्टर में कई नोड्स के भीतर दोहराया जा सके।

एचडीएफएस में फाइलों को कैसे स्टोर किया जाता है?

एचडीएफएस उजागर करता है फ़ाइल सिस्टम नेमस्पेस और उपयोगकर्ता डेटा को होने की अनुमति देता है संग्रहित में फ़ाइलें . आंतरिक रूप से, ए फ़ाइल एक या अधिक ब्लॉक में विभाजित है और ये ब्लॉक हैं संग्रहित DataNodes के एक सेट में। NameNode निष्पादित करता है फ़ाइल सिस्टम नेमस्पेस ऑपरेशंस जैसे खोलना, बंद करना और नाम बदलना फ़ाइलें और निर्देशिका।