Robots.txt बनाम Noindex: क्या फ़र्क़ है (और कब किसका इस्तेमाल करें)

ये दो अलग समस्याएं हल करते हैं

robots.txt क्रॉलिंग को नियंत्रित करता है — क्या सर्च इंजन के बॉट को किसी URL को फ़ेच करने की इजाज़त है भी या नहीं। एक noindex टैग इंडेक्सिंग को नियंत्रित करता है — क्या कोई पेज जो क्रॉल किया गया था सर्च रिज़ल्ट में दिखने की इजाज़त रखता है। इन्हें मिलाना उन सबसे आम वजहों में से एक है जिससे कोई पेज तब सर्च रिज़ल्ट में फंसा रह जाता है जब आप उसे हटाना चाहते थे, या तब अदृश्य हो जाता है जब आप वाकई उसे ढूंढा जाना चाहते थे।

robots.txt असल में क्या करता है

robots.txt में एक Disallow नियम अच्छे व्यवहार वाले क्रॉलरों से किसी URL को न फ़ेच करने का अनुरोध करता है। यह पहले से इंडेक्स्ड पेज को नहीं हटाता। अगर Google ने ब्लॉक होने से पहले किसी URL को इंडेक्स किया — या इसे कहीं और से लिंक हुआ पाया और पेज को कभी फ़ेच किए बिना सिर्फ़ URL और एंकर टेक्स्ट इंडेक्स किया — तो यह उस URL को बिना किसी टाइटल या डिस्क्रिप्शन के अनिश्चित काल तक रिज़ल्ट में दिखाता रह सकता है, क्योंकि Google ब्लॉक का सम्मान करता है और जांचने के लिए इसे फिर कभी क्रॉल नहीं करता।

noindex असल में क्या करता है

एक <meta name="robots" content="noindex"> टैग (या समकक्ष X-Robots-Tag HTTP हेडर) साफ़ तौर पर उस क्रॉलर को बताता है जिसने पहले ही पेज फ़ेच कर लिया है: आप इसे पढ़ सकते हैं, बस इसे अपने इंडेक्स में न डालें। यह किसी पेज को सर्च रिज़ल्ट से हटाने का भरोसेमंद तरीका है — लेकिन सिर्फ़ तभी जब क्रॉलर को पेज फ़ेच करने और सबसे पहले टैग देखने की इजाज़त हो।

क्लासिक गलती: ऐसे पेज को ब्लॉक करना जिसे आप noindex भी करते हैं

अगर कोई URL robots.txt में डिसअलाउड है और उसमें noindex टैग भी है, तो noindex टैग कभी पढ़ा ही नहीं जाता — क्रॉलर को पेज को बिल्कुल भी फ़ेच न करने के लिए कहा गया था, इसलिए वह उस पेज पर मौजूद निर्देश को कभी देखता ही नहीं। पेज इंडेक्स्ड रह सकता है (अगर वह पहले से था, या कहीं और से लिंक हो जाता है) और Google के पास इसे अलग तरीके से जानने का कोई रास्ता नहीं होता, क्योंकि इसे हटाने के लिए एक ऐसा टैग पढ़ना ज़रूरी है जिसे पढ़ने से उसे रोका गया है। यह वाकई एक आम वजह है जिससे साइटें गलती से कम-मूल्य वाले पेजों को महीनों तक सर्च रिज़ल्ट में फंसाए रखती हैं।

robots.txt का इस्तेमाल कब करें

• बड़ी साइटों पर क्रॉल बजट मैनेज करना — क्रॉलरों को कम-मूल्य, ज़्यादा-वॉल्यूम वाले पाथ (इंटरनल सर्च रिज़ल्ट, फ़ैसेटेड फ़िल्टर कॉम्बिनेशन) से दूर रखना ताकि वे उन पेजों पर ज़्यादा समय बिताएं जो मायने रखते हैं।
• स्टेजिंग एनवायरनमेंट, एडमिन रूट्स, और API एंडपॉइंट्स को पूरी तरह ब्लॉक करना।
• वे पेज जिन्हें आप बिल्कुल क्रॉल नहीं करवाना चाहते — यहां तक कि उनका कंटेंट जांचने के लिए भी नहीं — क्योंकि क्रॉल खुद दोनों तरफ़ संसाधन खर्च करता है।

noindex का इस्तेमाल कब करें

• वे पेज जिनका अस्तित्व और क्रॉल किया जाना आप चाहते हैं — इंटरनल लिंकिंग के लिए, यूज़र्स के लिए, साइट स्ट्रक्चर के लिए — लेकिन जो कभी सर्च रिज़ल्ट में नहीं दिखने चाहिए: टैग/कैटेगरी आर्काइव, पहले के बाद वाले पेजिनेटेड पेज, थैंक-यू पेज।
• पतला या डुप्लीकेट कंटेंट जिसे आप बिल्कुल हटाने के लिए तैयार नहीं हैं, जहां आप अब भी चाहते हैं कि यह विज़िटर्स और इंटरनल टूल्स के लिए एक्सेस करने लायक बना रहे।
• किसी पहले से इंडेक्स्ड पेज को हटाना — यह सिर्फ़ तभी काम करता है जब पेज क्रॉल करने लायक बना रहे ताकि Google वाकई टैग देख सके।

फटाफट फ़ैसला लेने का नियम

पूछें: क्या किसी क्रॉलर को यह जानने के लिए इस पेज को पढ़ने की ज़रूरत है कि इसके साथ क्या करना है? अगर निर्देश पेज के अपने कंटेंट को देखे जाने पर निर्भर करता है (जैसे noindex टैग), तो robots.txt को क्रॉल की इजाज़त देनी होगी। अगर आप क्रॉल को ही रोकना चाहते हैं — पेज पर जो भी हो उससे बेपरवाह — तो robots.txt सही टूल है, और noindex फ़िज़ूल है क्योंकि वह वैसे भी कभी पढ़ा ही नहीं जाएगा। ऐसे कंटेंट के लिए जो क्रॉल करने लायक और डुप्लीकेटिव है, बिल्कुल अनचाहा नहीं, एक कैनोनिकल टैग अक्सर दोनों से बेहतर फ़िट होता है।