क्रॉल बजट: यह क्या है और असल में आपको इसकी चिंता कब करनी चाहिए

क्रॉल बजट असल में क्या है

क्रॉल बजट दो चीज़ों का मिश्रण है: Google का क्रॉलर आपके सर्वर को ओवरलोड किए बिना कितने रिक्वेस्ट करने को तैयार है, और Google वाकई आपकी साइट को उसकी लोकप्रियता और कंटेंट कितनी बार बदलता है, इस आधार पर कितना क्रॉल करना चाहता है। यह तय करता है कि किसी दिए गए दिन एक बड़ी साइट का कितना हिस्सा क्रॉल होता है, और कितनी तेज़ी से — यह नहीं कि कोई खास पेज बिल्कुल इंडेक्स हो सकता है या नहीं।

ज़्यादातर साइटों को जिस रियलिटी-चेक की ज़रूरत है

कुछ हज़ार या उससे कम URL वाली साइट के लिए, क्रॉल बजट लगभग कभी असली बॉटलनेक नहीं होता — Google आमतौर पर उस आकार की साइट को बिना किसी ऑप्टिमाइज़ेशन के भी एक दिन के भीतर आसानी से क्रॉल कर सकता है। अगर किसी छोटी साइट पर कोई पेज इंडेक्स नहीं हो रहा, तो कहीं ज़्यादा संभावित वजह कंटेंट गुणवत्ता, कोई तकनीकी ब्लॉक, या डिस्कवरी (इसकी ओर इशारा करते कोई इंटरनल लिंक न होना) है — क्रॉल बजट को समस्या मानने से पहले Google आपकी साइट को इंडेक्स क्यों नहीं कर रहा देखें।

जब यह वाकई मायने रखता है

• बड़ी साइटें — दसियों हज़ार URL या ज़्यादा — जहां क्रॉलर वाकई हर पेज तक उतनी बार नहीं पहुंच पाता जितना आप चाहते हैं।
• भारी फ़ैसेटेड नेविगेशन या URL पैरामीटर (सॉर्ट ऑर्डर, फ़िल्टर, सेशन ID) वाली साइटें जो कुछ असली पेजों को लगभग-डुप्लीकेट क्रॉल करने लायक URL की एक विशाल संख्या में बदल देती हैं।
• वे साइटें जो इतनी बार कंटेंट पब्लिश या अपडेट करती हैं कि असल लक्ष्य री-क्रॉल फ्रेशनेस है, सिर्फ़ शुरुआती डिस्कवरी नहीं।

यह जांचना कि क्या यह वाकई आपका बॉटलनेक है

Search Console में Settings → Crawl stats खोलें और प्रति दिन क्रॉल किए गए एवरेज पेजों की अपने इंडेक्स करने लायक URL की कुल संख्या से तुलना करें। अगर आपकी साइट पर 200,000 URL हैं और Google एक दिन में 2,000 क्रॉल कर रहा है, तो बजट एक असली सीमा है। अगर आपके पास 300 URL हैं, तो यह नहीं है — क्रॉल स्टैट्स ग्राफ़ कैसा भी दिखे।

वाकई सीमित साइटों के लिए फिक्स

• robots.txt में कम-मूल्य वाले पैरामीटर कॉम्बिनेशन और अनंत फ़िल्टर/सॉर्ट URL को ब्लॉक करें — robots.txt बनाम noindex देखें।
• Google को हर वेरिएंट को अलग-अलग क्रॉल और मूल्यांकन करने के लिए छोड़ने के बजाय, लगभग-डुप्लीकेट URL को कैनोनिकल टैग से कंसॉलिडेट करें — डुप्लीकेट कंटेंट और कैनोनिकल टैग देखें।
• धीमे सर्वर रिस्पॉन्स टाइम को ठीक करें — एक तेज़ सर्वर सीधे उस क्रॉल रेट लिमिट को बढ़ाता है जिसका इस्तेमाल करने के लिए Google तैयार है।
• वाकई पतले, कम-मूल्य वाले पेजों को हटाएं या noindex करें जो कभी रैंक करने लायक हुए बिना क्रॉल का ध्यान खर्च कर रहे हैं।

नए कंटेंट के लिए क्रॉल बजट ही एकमात्र लीवर नहीं है

क्रॉलर के अपने शेड्यूल पर किसी नए या अपडेट किए गए URL को प्राथमिकता देने का इंतज़ार करना वाकई वही सीमा है जिसे क्रॉल बजट बताता है। IndexNow सबसे ज़्यादा मायने रखने वाले URL के लिए इसे टाल देता है, सपोर्ट करने वाले सर्च इंजनों को पेज तैयार होने के पल सीधे सूचित करके, उनके अपने टाइमलाइन पर फिर से क्रॉल और पुनर्विचार होने का इंतज़ार करने के बजाय। स्टेप-बाय-स्टेप वर्शन के लिए नई पोस्ट को तेज़ी से इंडेक्स कैसे करवाएं देखें।