Crawl Budget: คืออะไรและเมื่อไหร่ที่คุณควรกังวลจริง ๆ

crawl budget คืออะไรจริง ๆ

crawl budget คือการรวมกันของสองสิ่ง: จำนวนคำขอที่ crawler ของ Google เต็มใจส่งไปยังเซิร์ฟเวอร์ของคุณโดยไม่ทำให้เกิดภาระเกิน และ Google ต้องการ crawl เว็บไซต์ของคุณมากแค่ไหนตามความนิยมและความถี่ที่เนื้อหาเปลี่ยนแปลง มันกำหนดว่าเว็บไซต์ขนาดใหญ่จะถูก crawl มากแค่ไหนและเร็วแค่ไหนในแต่ละวัน — ไม่ใช่ว่าหน้าใดหน้าหนึ่งจะสามารถจัดทำดัชนีได้หรือไม่

การตรวจสอบความเป็นจริงที่เว็บไซต์ส่วนใหญ่ต้องการ

สำหรับเว็บไซต์ที่มี URL ไม่กี่พันรายการหรือน้อยกว่านั้น crawl budget แทบไม่เคยเป็นคอขวดที่แท้จริง — Google มักจะ crawl เว็บไซต์ขนาดนั้นได้ดีภายในหนึ่งวันแม้ไม่มีการปรับให้เหมาะสมเลย หากหน้าบนเว็บไซต์ขนาดเล็กไม่ถูกจัดทำดัชนี สาเหตุที่เป็นไปได้มากกว่าคือคุณภาพเนื้อหา การบล็อกทางเทคนิค หรือการค้นพบ (ไม่มีลิงก์ภายในชี้มา) — ดูทำไม Google ไม่จัดทำดัชนีเว็บไซต์ของคุณก่อนที่จะสรุปว่า crawl budget เป็นปัญหา

เมื่อไหร่ที่มันสำคัญจริง ๆ

• เว็บไซต์ขนาดใหญ่ — หลายหมื่น URL ขึ้นไป — ที่ crawler ไม่สามารถเข้าถึงทุกหน้าได้บ่อยเท่าที่คุณต้องการ
• เว็บไซต์ที่มีการนำทางแบบ facet หนักหรือพารามิเตอร์ URL (ลำดับการเรียง ตัวกรอง session ID) ที่ทวีคูณหน้าจริงไม่กี่หน้าให้กลายเป็น URL ที่ crawl ได้จำนวนมหาศาลซึ่งเกือบซ้ำกัน
• เว็บไซต์ที่เผยแพร่หรืออัปเดตเนื้อหาบ่อยพอที่ความสดใหม่ของการ crawl ซ้ำ ไม่ใช่แค่การค้นพบเริ่มต้น เป็นเป้าหมายที่แท้จริง

วิธีตรวจสอบว่านี่เป็นคอขวดจริงของคุณหรือไม่

เปิด Settings → Crawl stats ใน Search Console และเปรียบเทียบจำนวนหน้าเฉลี่ยที่ถูก crawl ต่อวันกับจำนวน URL ที่จัดทำดัชนีได้ทั้งหมดของคุณ หากเว็บไซต์ของคุณมี 200,000 URL และ Google กำลัง crawl 2,000 รายการต่อวัน budget เป็นข้อจำกัดจริง หากคุณมี 300 URL มันไม่ใช่ — ไม่ว่ากราฟสถิติการ crawl จะแสดงอะไรก็ตาม

การแก้ไขสำหรับเว็บไซต์ที่มีข้อจำกัดจริง

• บล็อกชุดพารามิเตอร์ที่มีมูลค่าต่ำและ URL ตัวกรอง/เรียงลำดับที่ไม่มีที่สิ้นสุดใน robots.txt — ดูrobots.txt เทียบกับ noindex
• รวม URL ที่เกือบซ้ำกันด้วยแท็ก canonical แทนที่จะปล่อยให้ Google crawl และประเมินแต่ละรูปแบบแยกกัน — ดูเนื้อหาซ้ำและแท็ก canonical
• แก้ไขเวลาตอบสนองของเซิร์ฟเวอร์ที่ช้า — เซิร์ฟเวอร์ที่เร็วขึ้นจะเพิ่มขีดจำกัดอัตราการ crawl ที่ Google เต็มใจใช้โดยตรง
• ตัดทอนหรือ noindex หน้าที่บางและมีมูลค่าต่ำอย่างแท้จริงที่กำลังใช้ความสนใจในการ crawl โดยไม่เคยคุ้มค่าที่จะจัดอันดับเลย

crawl budget ไม่ใช่เครื่องมือเดียวสำหรับเนื้อหาใหม่

การรอให้ crawler จัดลำดับความสำคัญของ URL ใหม่หรือที่อัปเดตตามกำหนดการของตัวเองคือข้อจำกัดที่ crawl budget อธิบายไว้พอดี IndexNow หลีกเลี่ยงข้อจำกัดนี้สำหรับ URL ที่สำคัญที่สุด โดยแจ้งเตือนเครื่องมือค้นหาที่รองรับโดยตรงทันทีที่หน้าเว็บพร้อม แทนที่จะรอให้ถูก crawl ซ้ำและพิจารณาใหม่ตามกำหนดเวลาของพวกเขา ดูวิธีทำให้โพสต์ใหม่ถูกจัดทำดัชนีอย่างรวดเร็วสำหรับเวอร์ชันทีละขั้นตอน