Robots.txt เทียบกับ Noindex: ความแตกต่างคืออะไร (และควรใช้แบบไหนเมื่อไหร่)

ทั้งสองแก้ปัญหาที่แตกต่างกันสองอย่าง

robots.txt ควบคุมการ crawl — ว่าบอทของเครื่องมือค้นหาได้รับอนุญาตให้ดึงข้อมูล URL หรือไม่ แท็ก noindex ควบคุมการจัดทำดัชนี — ว่าหน้าเว็บที่ถูก crawl แล้วได้รับอนุญาตให้ปรากฏในผลการค้นหาหรือไม่ การสับสนสองสิ่งนี้เป็นหนึ่งในวิธีที่พบบ่อยที่สุดที่ทำให้หน้าเว็บติดค้างอยู่ในผลการค้นหาทั้งที่คุณต้องการให้หายไป หรือมองไม่เห็นทั้งที่คุณต้องการให้ถูกค้นพบ

robots.txt ทำอะไรจริง ๆ

กฎ Disallow ใน robots.txt ขอให้ crawler ที่มีมารยาทดีไม่ดึงข้อมูล URL นั้น มันไม่ได้ลบหน้าเว็บที่ถูกจัดทำดัชนีไปแล้วออก หาก Google จัดทำดัชนี URL ก่อนที่จะถูกบล็อก — หรือพบว่ามีลิงก์จากที่อื่นและจัดทำดัชนีเฉพาะ URL และข้อความลิงก์โดยไม่เคยดึงข้อมูลหน้าเว็บเลย — มันสามารถแสดง URL นั้นในผลการค้นหาต่อไปได้อย่างไม่มีกำหนด โดยปกติไม่มีชื่อเรื่องหรือคำอธิบาย เนื่องจาก Google เคารพการบล็อกและไม่เคย crawl ซ้ำเพื่อตรวจสอบ

noindex ทำอะไรจริง ๆ

แท็ก <meta name="robots" content="noindex"> (หรือ HTTP header X-Robots-Tag ที่เทียบเท่ากัน) บอก crawler ที่ดึงข้อมูลหน้าเว็บไปแล้วอย่างชัดเจนว่า: คุณอ่านสิ่งนี้ได้ แค่อย่าใส่ไว้ในดัชนีของคุณ นี่คือวิธีที่เชื่อถือได้ในการลบหน้าเว็บออกจากผลการค้นหา — แต่ใช้ได้ก็ต่อเมื่อ crawler ได้รับอนุญาตให้ดึงข้อมูลหน้าเว็บและเห็นแท็กนั้นตั้งแต่แรก

ข้อผิดพลาดคลาสสิก: การบล็อกหน้าเว็บที่คุณ noindex ด้วย

หาก URL ถูก disallow ใน robots.txt และมีแท็ก noindex แท็ก noindex จะไม่มีวันถูกอ่าน — crawler ถูกบอกไม่ให้ดึงข้อมูลหน้าเว็บเลย จึงไม่เคยเห็นคำสั่งที่อยู่บนหน้านั้น หน้าเว็บอาจยังคงถูกจัดทำดัชนี (หากเคยถูกจัดทำดัชนีมาก่อน หรือถูกลิงก์จากที่อื่น) โดยไม่มีทางที่ Google จะเรียนรู้เป็นอย่างอื่นได้ เนื่องจากการลบออกต้องอ่านแท็กที่มันถูกบล็อกไม่ให้อ่าน นี่เป็นวิธีที่พบบ่อยจริง ๆ ที่เว็บไซต์ทำให้หน้าที่มีมูลค่าต่ำติดค้างอยู่ในผลการค้นหานานหลายเดือนโดยไม่ได้ตั้งใจ

เมื่อไหร่ที่ควรใช้ robots.txt

• การจัดการ crawl budget บนเว็บไซต์ขนาดใหญ่ — ป้องกันไม่ให้ crawler เข้าไปยัง path ที่มีมูลค่าต่ำและปริมาณสูง (ผลการค้นหาภายใน ชุดตัวกรองแบบ facet) เพื่อให้ใช้เวลามากขึ้นกับหน้าที่สำคัญ
• การบล็อกสภาพแวดล้อม staging เส้นทางผู้ดูแลระบบ และ API endpoint โดยตรง
• หน้าที่คุณไม่ต้องการให้ crawl เลย — แม้แต่เพื่อตรวจสอบเนื้อหา — เนื่องจากการ crawl เองก็ใช้ทรัพยากรทั้งสองฝ่าย

เมื่อไหร่ที่ควรใช้ noindex

• หน้าที่คุณต้องการให้มีอยู่และ crawl ได้ — สำหรับการลิงก์ภายใน สำหรับผู้ใช้ สำหรับโครงสร้างเว็บไซต์ — แต่ไม่ต้องการให้ปรากฏในผลการค้นหา: หน้าคลังแท็ก/หมวดหมู่ หน้าแบ่งหน้าที่เกินหน้าแรก หน้าขอบคุณ
• เนื้อหาที่บางหรือซ้ำซ้อนที่คุณยังไม่พร้อมจะลบทิ้งไปเลย โดยที่คุณยังต้องการให้ผู้เยี่ยมชมและเครื่องมือภายในเข้าถึงได้
• การลบหน้าเว็บที่ถูกจัดทำดัชนีไปแล้ว — วิธีนี้ใช้ได้เฉพาะเมื่อหน้าเว็บยังคง crawl ได้ เพื่อให้ Google สามารถเห็นแท็กได้จริง

กฎการตัดสินใจอย่างรวดเร็ว

ถามว่า: crawler จำเป็นต้องอ่านหน้านี้เพื่อรู้ว่าต้องทำอย่างไรกับมันหรือไม่? หากคำสั่งขึ้นอยู่กับเนื้อหาของหน้าเว็บเองที่ถูกมองเห็น (เช่นแท็ก noindex) robots.txt ต้องอนุญาตให้ crawl หากคุณต้องการป้องกันการ crawl เอง — ไม่ว่าจะมีอะไรอยู่บนหน้านั้นก็ตาม — robots.txt คือเครื่องมือที่ถูกต้อง และ noindex ก็ซ้ำซ้อนเพราะมันจะไม่มีวันถูกอ่าน สำหรับเนื้อหาที่ crawl ได้และซ้ำซ้อนแทนที่จะไม่ต้องการโดยสิ้นเชิง แท็ก canonical มักเหมาะสมกว่าทั้งสองอย่าง