Crawl Stats Search Console untuk Blogger: Cara Membacanya

Ilustrasi AI tentang alur membaca Crawl Stats, bukan tangkapan data Search Console atau hasil pengujian situs.

Grafik permintaan crawl yang naik atau turun mudah membuat pemilik blog bereaksi terlalu cepat. Padahal, jumlah permintaan saja tidak menunjukkan apakah artikel Blogger bermasalah. Audit yang lebih berguna dimulai dari status host, jenis respons, lalu contoh URL yang benar-benar diminta Google. Dengan urutan ini, Anda dapat membedakan gangguan penyajian situs dari perubahan pola crawl yang masih wajar.

Kapan laporan Crawl Stats layak dibuka?

Laporan Crawl Stats berada di Search Console melalui Setelan > Statistik crawling. Menurut dokumentasi Crawl Stats Search Console, laporan ini ditujukan untuk pengguna tingkat lanjut dan tersedia pada properti tingkat root, yaitu Domain property atau URL-prefix yang berada di akar situs. Properti yang hanya mencakup subfolder tidak memenuhi cakupan tersebut.

Untuk blog yang tidak besar, laporan ini sebaiknya dipakai ketika ada pertanyaan khusus: apakah Google mengalami kegagalan DNS, koneksi host, pengambilan robots.txt, respons server, atau pola URL yang tidak diharapkan? Google menyatakan bahwa situs dengan kurang dari seribu halaman biasanya tidak perlu mengkhawatirkan detail crawl setingkat ini. Artinya, Crawl Stats bukan panel yang harus “dihijaukan” setiap hari.

Sebelum membaca grafik, catat properti yang dipilih, rentang tanggal, dan kejadian yang mungkin relevan, misalnya perubahan domain atau gangguan layanan. Jangan menyimpulkan sebab hanya karena dua kejadian berlangsung berdekatan. Catatan itu berfungsi sebagai hipotesis yang masih harus dicocokkan dengan respons dan contoh URL.

Mulai dari status host, bukan total permintaan

Bagian Host status merangkum apakah Google menemui masalah ketersediaan ketika mencoba merayapi situs. Buka rinciannya dan periksa tiga kelompok bukti: pengambilan robots.txt, resolusi DNS, serta konektivitas server. Status masalah baru atau berulang lebih perlu ditelusuri daripada perubahan kecil pada grafik total.

Jika masalah berada pada robots.txt, buka alamat /robots.txt secara langsung dan periksa responsnya. Gunakan panduan internal cara memeriksa robots.txt Blogger untuk membedakan berkas yang dapat diambil dari aturan yang mungkin memblokir URL. Jangan langsung mengganti aturan hanya untuk menaikkan jumlah crawl; perubahan yang terlalu luas dapat membuka atau menutup bagian yang tidak dimaksudkan.

Masalah DNS atau koneksi host juga perlu dibedakan dari kesalahan pada satu artikel. Jika hanya satu URL yang dicurigai, Crawl Stats terlalu agregat untuk menjawab seluruh pertanyaan. Catat contoh URL dari laporan, lalu periksa halaman itu secara terpisah. Jika blog sempat tidak aktif, panduan memeriksa blog yang belum terindeks setelah domain aktif kembali membantu memisahkan masalah akses, domain, dan indeks. Laporan Crawl Stats sendiri menyajikan riwayat permintaan terhadap host, bukan diagnosis lengkap untuk setiap halaman.

Telusuri respons dan contoh URL

Setelah status host, buka tabel By response. Data dihitung berdasarkan permintaan, bukan jumlah URL unik. URL yang diminta dua kali dapat menyumbang dua respons. Karena itu, persentase respons tidak boleh dibaca sebagai persentase artikel yang sehat atau rusak.

Respons 200 dan 304 dapat merupakan hasil yang normal. Pengalihan juga bisa sesuai tujuan ketika alamat memang dipindahkan. Respons 404 tidak otomatis harus diperbaiki: URL yang benar-benar dihapus tanpa pengganti memang semestinya tidak diarahkan ke halaman yang tidak relevan. Pilih tindakan berdasarkan keadaan konten dan tujuan URL, bukan sekadar nama status.

Klik kelompok respons untuk melihat contoh URL, waktu crawl, ukuran respons, dan rincian lain yang tersedia. Daftar contoh tidak komprehensif. Ketiadaan suatu URL dari daftar bukan bukti bahwa Google belum pernah memintanya. Sebaliknya, satu contoh yang muncul juga tidak cukup untuk menyimpulkan seluruh blog mengalami masalah yang sama.

Baca tipe berkas, tujuan crawl, dan Googlebot bersama-sama

Tabel tipe berkas membantu memisahkan permintaan HTML, gambar, CSS, JavaScript, feed, dan jenis lain. Sumber daya yang berada di luar cakupan properti yang dipilih tidak masuk ke laporan tersebut. Jadi, angka unduhan bukan jumlah total seluruh aset yang terlihat di halaman.

Lalu cocokkan dengan crawl purpose. Permintaan discovery berhubungan dengan URL yang belum pernah dirayapi Google sebelumnya, sedangkan refresh memeriksa ulang URL yang sudah dirayapi. Kelompok Googlebot menunjukkan agen yang melakukan permintaan. Perhatikan bahwa gambar atau video yang diambil sebagai sumber daya ketika halaman dirender dicatat sebagai Page resource load, bukan otomatis sebagai Googlebot Gambar atau Video. Kombinasi ketiga tabel memberi konteks yang lebih kuat daripada satu angka total.

Pisahkan crawl, indeks, dan performa penelusuran

Google menjelaskan dalam panduan cara kerja Google Search bahwa crawling dan indexing merupakan tahap yang berbeda. URL yang diminta Googlebot belum tentu disimpan dalam indeks. Crawl Stats juga tidak menunjukkan posisi, klik, atau kualitas jawaban sebuah artikel.

Karena itu, pertanyaan “apakah artikel ini sudah diindeks?” perlu diperiksa pada laporan pengindeksan atau Inspeksi URL. Pertanyaan “apakah pembaca menemukannya?” memerlukan laporan Performa. Jangan memakai lonjakan permintaan crawl sebagai bukti bahwa ranking akan naik, dan jangan menganggap penurunan crawl sebagai penalti.

Istilah crawl budget juga tidak perlu diterapkan ke semua blog. Panduan resmi pengelolaan crawl budget ditujukan terutama untuk situs sangat besar, situs dengan perubahan cepat, atau situs dengan banyak URL berstatus ditemukan tetapi belum diindeks. Untuk kebanyakan blog, sitemap yang mutakhir, tautan yang dapat dirayapi, dan pemeriksaan indeks biasanya lebih relevan daripada mengejar frekuensi Googlebot.

Gunakan lembar audit yang dapat dibandingkan

Simpan audit singkat dengan kolom tanggal, properti, status host, kelompok respons yang berubah, dua atau tiga contoh URL, tipe berkas, tujuan crawl, dan tindakan lanjutan. Tambahkan hasil pemeriksaan setelah tindakan dilakukan. Format ini menjaga keputusan tetap terhubung dengan bukti, sekaligus mencegah Anda membandingkan dua properti atau rentang waktu yang berbeda.

Jika host sehat, respons yang terlihat sesuai tujuan, dan tidak ada pola URL yang tidak diharapkan, tidak perlu mengubah Blogger hanya karena grafik bergerak. Lanjutkan pemantauan pada interval yang masuk akal. Jika ada kegagalan berulang, kumpulkan contoh URL dan waktu kejadian sebelum menghubungi penyedia domain atau layanan yang relevan.

Audit selesai ketika Anda dapat menjawab tiga hal: apakah Google dapat mencapai host, respons apa yang diterima, dan kelompok URL atau sumber daya mana yang perlu diperiksa. Jawaban tersebut lebih berguna daripada target angka crawl tertentu karena berakhir pada keputusan yang bisa diuji tanpa menjanjikan pengindeksan atau peringkat.