Anggaran Crawl: Apa Itu dan Kapan Anda Benar-benar Perlu Mengkhawatirkannya

Apa sebenarnya anggaran crawl

Anggaran crawl adalah kombinasi dari dua hal: berapa banyak permintaan yang bersedia dibuat crawler Google ke server Anda tanpa membebani secara berlebihan, dan seberapa besar Google sebenarnya ingin meng-crawl situs Anda berdasarkan popularitasnya dan seberapa sering kontennya berubah. Ini menentukan seberapa banyak dari situs besar yang di-crawl, dan seberapa cepat, pada hari tertentu — bukan apakah halaman tertentu bisa diindeks sama sekali.

Pemeriksaan realitas yang dibutuhkan sebagian besar situs

Untuk situs dengan beberapa ribu URL atau kurang, anggaran crawl hampir tidak pernah menjadi hambatan sesungguhnya — Google umumnya dapat meng-crawl situs seukuran itu dengan baik dalam sehari bahkan tanpa optimisasi apa pun. Jika sebuah halaman di situs kecil tidak terindeks, penyebab yang jauh lebih mungkin adalah kualitas konten, blokir teknis, atau penemuan (tidak ada tautan internal yang mengarah ke sana) — lihat mengapa Google tidak mengindeks situs Anda sebelum mengasumsikan anggaran crawl adalah masalahnya.

Kapan ini benar-benar penting

• Situs besar — puluhan ribu URL atau lebih — di mana crawler sederhananya tidak dapat menjangkau setiap halaman sesering yang Anda inginkan.
• Situs dengan navigasi berfaset yang berat atau parameter URL (urutan sortir, filter, ID sesi) yang melipatgandakan segelintir halaman nyata menjadi sejumlah besar URL yang dapat di-crawl dan hampir-duplikat.
• Situs yang menerbitkan atau memperbarui konten cukup sering sehingga kesegaran crawl ulang, bukan hanya penemuan awal, menjadi tujuan sesungguhnya.

Cara memeriksa apakah ini benar-benar hambatan Anda

Buka Pengaturan → Statistik crawl di Search Console dan bandingkan rata-rata halaman yang di-crawl per hari dengan total jumlah URL yang dapat diindeks di situs Anda. Jika situs Anda memiliki 200.000 URL dan Google meng-crawl 2.000 per hari, anggaran adalah kendala nyata. Jika Anda memiliki 300 URL, itu bukan kendala — tidak peduli seperti apa tampilan grafik statistik crawlnya.

Perbaikan untuk situs yang benar-benar terbatas

• Blokir kombinasi parameter bernilai rendah dan URL filter/sortir tak terbatas di robots.txt — lihat robots.txt vs noindex.
• Gabungkan URL yang hampir-duplikat dengan tag canonical alih-alih membiarkan Google meng-crawl dan mengevaluasi setiap variannya secara terpisah — lihat konten duplikat dan tag canonical.
• Perbaiki waktu respons server yang lambat — server yang lebih cepat secara langsung menaikkan batas laju crawl yang bersedia digunakan Google.
• Pangkas atau noindex halaman yang benar-benar tipis dan bernilai rendah yang menyita perhatian crawl tanpa pernah layak untuk diranking.

Anggaran crawl bukan satu-satunya cara untuk konten baru

Menunggu crawler memprioritaskan URL baru atau yang diperbarui sesuai jadwalnya sendiri persis merupakan kendala yang digambarkan anggaran crawl. IndexNow menyiasatinya untuk URL yang paling penting, dengan langsung memberi tahu mesin pencari yang mendukungnya begitu sebuah halaman siap alih-alih menunggu di-crawl ulang dan dipertimbangkan lagi sesuai jadwal mereka. Lihat cara membuat postingan baru terindeks dengan cepat untuk versi langkah demi langkahnya.