Untuk memeriksa robots.txt Blogger, buka berkasnya pada domain utama, cocokkan aturan dengan URL artikel, lalu konfirmasi izin perayapan melalui Search Console. Jangan mengganti isinya hanya karena artikel belum muncul di Google. Akses crawler, aturan pengindeksan, dan keputusan memasukkan halaman ke indeks merupakan hal yang berbeda.
Panduan ini membantu Anda menemukan pemblokiran yang tidak disengaja tanpa menyalin konfigurasi dari blog lain. Siapkan satu artikel baru, satu artikel lama, serta satu halaman statis yang memang ingin ditemukan pembaca. Catat URL lengkap dan kondisi awal sebelum mempertimbangkan perubahan.
Kenali perbedaan robots.txt dan noindex
Dalam pengantar robots.txt Google, berkas ini dijelaskan sebagai petunjuk mengenai URL yang boleh diakses crawler. Aturan tersebut mengendalikan perayapan. Memblokir sebuah URL tidak selalu menghilangkannya dari hasil pencarian; Google masih dapat mengetahui alamat itu melalui tautan dari halaman lain.
Sementara itu, noindex adalah aturan agar halaman tidak dimasukkan ke indeks. Aturan ini dapat disampaikan melalui tag meta atau header respons. Dokumentasi noindex Google menegaskan bahwa crawler harus bisa membuka halaman untuk membaca instruksinya. Menambahkan noindex ke robots.txt juga bukan metode yang didukung Google.
Contoh praktisnya: apabila sebuah halaman ingin dikeluarkan dari indeks menggunakan noindex, jangan sekaligus menutup akses crawl ke halaman itu. Sebaliknya, untuk artikel publik yang ingin ditemukan, periksa apakah akses crawl dan pengindeksannya sama-sama diperbolehkan.
1. Buka robots.txt pada alamat blog yang benar
Tambahkan /robots.txt setelah domain utama blog di bilah alamat browser. Gunakan alamat yang benar-benar dipakai situs, termasuk HTTPS dan awalan www bila berlaku. Yang perlu diperiksa adalah berkas pada situs Anda, bukan berkas contoh milik penyedia template.
Simpan salinan teks yang muncul beserta tanggal pemeriksaan. Perhatikan nama crawler setelah User-agent, jalur pada Disallow, pengecualian Allow, dan alamat sitemap jika tercantum. Jangan langsung menghapus baris yang belum dipahami. Daftar aturan yang pendek pun dapat mempunyai jangkauan luas.
Bila berkas gagal dibuka atau muncul pesan kesalahan, catat hasilnya. Pisahkan masalah pengambilan berkas dari masalah artikel. Satu halaman yang bisa dibuka melalui browser belum membuktikan bahwa Googlebot diizinkan merayapinya.
2. Cocokkan jalur aturan dengan URL artikel
Ambil bagian URL setelah domain. Artikel Blogger biasanya mempunyai jalur tahun, bulan, dan nama artikel, sedangkan halaman statis memakai jalur berbeda. Bandingkan contoh URL yang sudah disiapkan dengan aturan yang relevan untuk crawler Google.
Menurut spesifikasi robots.txt yang digunakan Google, kecocokan jalur dan kelompok crawler menentukan penerapan aturan. Baris Disallow: / dapat menutup seluruh jalur bagi kelompok crawler terkait jika tidak ada pengecualian yang berlaku. Membaca satu baris secara terpisah bisa menghasilkan kesimpulan keliru.
Perhatikan pula aturan untuk /search. URL label Blogger yang berada di bawah /search/label/ dapat tercakup oleh aturan tersebut, bergantung pada pengecualiannya. Ini tidak otomatis berarti URL artikel bertanggal ikut terblokir. Jangan membuka semua halaman pencarian hanya dengan tujuan memasukkan sebanyak mungkin URL ke indeks.
3. Tinjau setelan Blogger tanpa mengubahnya terburu-buru
Buka Setelan, kemudian periksa bagian Privasi serta Crawler dan pengindeksan. Untuk blog publik yang ingin ditemukan, pastikan maksud pengaturan visibilitasnya sesuai. Catat apakah robots.txt kustom dan tag header robots kustom sedang aktif; kedua pengaturan ini memiliki fungsi berbeda.
Bantuan setelan Blogger menjelaskan bahwa isi robots.txt kustom menggantikan isi bawaan yang disampaikan kepada mesin telusur. Karena itu, mempertahankan pengaturan bawaan merupakan titik awal yang masuk akal ketika tidak ada kebutuhan khusus yang sudah teridentifikasi. Jangan mengaktifkan versi kustom semata-mata karena disebut sebagai syarat SEO.
Jika konfigurasi kustom sudah ada, cari alasan pemasangannya sebelum menonaktifkannya. Simpan teks dan tangkapan layar setelan. Pada situs yang dikelola beberapa orang, cocokkan catatan tersebut dengan pengelola teknis agar perbaikan tidak membatalkan pembatasan yang memang disengaja.
4. Periksa aturan pada halaman artikel
Setelah akses crawling diperiksa, lihat apakah artikel mempunyai instruksi pengindeksan yang tidak diinginkan. Gunakan informasi halaman yang tersedia melalui inspeksi, atau minta pengembang memeriksa tag robots dan header respons. Periksa halaman yang sudah terbit, bukan hanya tampilan editor atau pratinjau draf.
Jika ditemukan noindex pada artikel publik, identifikasi sumbernya sebelum memperbaiki: pengaturan postingan, setelan kelompok halaman, atau keluaran tema. Hindari menambahkan tag index kedua sebagai jalan pintas. Tujuannya adalah menghilangkan sumber instruksi yang keliru, kemudian memastikan keluaran halaman sudah konsisten.
Pemeriksaan ini melengkapi panduan judul, deskripsi, canonical, dan internal link Blogger. Canonical dan judul yang rapi tetap tidak menyelesaikan larangan akses yang belum diperbaiki.
5. Konfirmasi dengan Inspeksi URL
Pada properti Search Console yang sesuai, masukkan URL lengkap artikel. Baca hasil pemeriksaan tersimpan dan tanggal crawl terakhir, lalu gunakan pengujian URL aktif untuk membandingkan kondisi saat ini. Perhatikan informasi izin perayapan, pengambilan halaman, dan izin pengindeksan.
Panduan Inspeksi URL Search Console membedakan informasi versi yang diketahui Google dan hasil pengujian halaman aktif. Hasil aktif yang baik tidak menjamin halaman masuk indeks. Jika laporan lama menunjukkan hambatan tetapi pengujian aktif sudah berhasil, catat perbedaannya. Hindari terus mengganti setelan hanya karena laporan belum menampilkan crawl baru.
Jika masalah muncul setelah domain kembali aktif, gunakan juga panduan pemeriksaan Blogger yang belum terindeks setelah pemulihan domain untuk menelusuri akses dan pengalihan.
Tabel keputusan setelah pemeriksaan
| Temuan | Tindak lanjut |
|---|---|
| Artikel terblokir robots.txt | Temukan aturan yang cocok dan tujuan pembatasannya. |
| Crawl diizinkan, tetapi ada noindex | Periksa sumber instruksi pada halaman. |
| Uji aktif berhasil, laporan lama bermasalah | Simpan hasil terbaru dan pantau crawl berikutnya. |
| Akses baik, tetapi belum diindeks | Evaluasi alasan laporan, isi, dan penemuan URL. |
Setelah hambatan akses diperbaiki
Lakukan perubahan hanya pada sumber masalah yang sudah ditemukan, lalu ulangi pengujian pada contoh URL semula. Simpan konfigurasi sebelumnya agar bisa dipulihkan bila dampaknya berbeda dari rencana. Untuk beberapa URL penting, permintaan pengindeksan dapat diajukan melalui Search Console setelah pemeriksaan.
Panduan meminta perayapan ulang Google menjelaskan bahwa permintaan tidak menjamin halaman segera masuk hasil pencarian, bahkan tidak menjamin pengindeksan. Mengirim URL yang sama berulang kali juga tidak membuatnya pasti dirayapi lebih cepat.
Pertanyaan yang sering diajukan
Apakah setiap blog harus memakai robots.txt kustom?
Tidak perlu mengaktifkannya hanya demi mengikuti tutorial. Mulailah dari pengaturan bawaan, lalu pertimbangkan perubahan ketika kebutuhan teknisnya jelas.
Apakah robots.txt membuat artikel cepat terindeks?
Berkas ini mengatur akses perayapan. Membuka akses tidak menjamin artikel dipilih masuk indeks atau mendapat peringkat tertentu.
Apakah mengganti template memperbaiki robots.txt?
Jangan menganggapnya demikian. Periksa berkas robots.txt dan keluaran halaman secara terpisah agar sumber masalahnya diketahui.
Jadikan pemeriksaan ini bagian dari pemeliharaan blog. Setelah aksesnya jelas, lanjutkan dengan tujuh pengujian template Blogger sebelum dipakai untuk menilai pengalaman membaca serta fungsi halaman.