Audit Noindex Tag Robot Kustom Blogger Tanpa Ubah Setelan

Ilustrasi AI tentang pemeriksaan sinyal index dan noindex; bukan tangkapan Search Console atau hasil audit situs.

Tag robot kustom di Blogger perlu diaudit pada hasil yang benar-benar dikirim halaman, bukan dinilai dari nama opsi di dasbor saja. Untuk pemeriksaan baca-saja, bandingkan satu artikel, beranda, halaman label, dan arsip. Catat meta robots, meta googlebot, serta header respons X-Robots-Tag tanpa mengubah setelan.

Audit ini berguna ketika artikel publik tiba-tiba dilaporkan memiliki noindex, atau saat pengelola belum yakin apakah aturan untuk arsip ikut mengenai postingan. Tujuannya adalah menemukan asal sinyal pada URL tertentu. Hasil yang terlihat aman tetap bukan jaminan halaman akan diindeks atau mendapat peringkat.

Bedakan robots.txt, tag robot, dan atribut tautan

Dokumentasi robots.txt Google menjelaskan bahwa berkas tersebut mengatur URL yang boleh diminta crawler. Robots.txt bukan mekanisme yang tepat untuk memastikan halaman web tidak muncul di Google. Sebaliknya, aturan noindex pada tag robot mengatur apakah halaman atau sumber boleh ditampilkan dalam hasil penelusuran.

Tag robot dapat dikirim sebagai elemen HTML, misalnya meta name="robots", atau sebagai header respons HTTP X-Robots-Tag. Google juga mendukung tag yang ditujukan khusus kepada googlebot. Bila beberapa aturan berlaku, pembatasan yang lebih ketat dapat menang. Karena nilai bawaan adalah index, follow, tidak ditemukannya tulisan index bukan otomatis sebuah kesalahan.

Jangan menyamakan nofollow tingkat halaman dengan rel="nofollow" pada satu tautan. Yang pertama meminta crawler tidak mengikuti tautan pada halaman tersebut; yang kedua hanya mengkualifikasi tautan tertentu. Kesamaan kata tidak berarti ruang lingkupnya sama.

Siapkan empat URL publik sebagai sampel

Gunakan alamat publik, bukan URL editor atau pratinjau draf. Pilih satu artikel yang memang ingin ditemukan, beranda, satu halaman label yang aktif, dan satu halaman arsip atau pencarian internal. Pada portal berita, empat tipe ini mewakili setelan Home page, Archive and search page, serta Post and page yang didokumentasikan Blogger.

Buat lembar pemeriksaan dengan kolom: URL awal, URL akhir setelah pengalihan, status HTTP, tipe halaman, tag robot di HTML, X-Robots-Tag, dan hasil yang diharapkan. Jangan memutuskan bahwa semua halaman harus memiliki aturan sama. Artikel yang layak dicari dan halaman hasil pencarian internal dapat mempunyai tujuan berbeda.

Simpan tanggal dan jam setiap pemeriksaan. Bukti dari waktu berbeda tidak boleh digabung seolah-olah berasal dari satu respons yang sama.

Jika salah satu sampel tidak terbuka untuk pengunjung biasa, selesaikan masalah akses tersebut sebagai persoalan terpisah. Audit tag robot tidak menggantikan pemeriksaan status respons, pengalihan, atau halaman kosong.

Catat setelan Blogger tanpa menyimpannya kembali

Di Blogger, buka Setelan, lalu bagian Crawler dan pengindeksan. Panduan setelan Blogger menyebutkan opsi untuk robots.txt kustom dan tag header robot kustom sebagai kontrol yang berbeda. Pada tahap ini, cukup catat apakah tag robot kustom aktif serta pilihan yang terlihat untuk beranda, arsip dan penelusuran, serta postingan dan halaman.

Jangan menyalakan, mematikan, atau mencentang opsi sebagai percobaan. Tutup dialog tanpa menyimpan jika Anda tidak berniat mengubah konfigurasi. Lalu buka editor artikel sampel dan lihat bagian Tag robot kustom tanpa mengubahnya. Bantuan resmi Blogger menjelaskan bahwa No index pada setelan posting dapat digunakan untuk menyembunyikan posting atau halaman tertentu dari penelusuran.

Catatan dasbor hanya menunjukkan konfigurasi yang dipilih. Bukti akhirnya tetap berada pada respons URL publik. Tema, variasi halaman, atau aturan khusus dapat membuat hasil yang perlu diperiksa per tipe halaman.

Periksa HTML dan header respons secara terpisah

Buka sumber halaman publik, lalu cari name="robots" dan name="googlebot". Setelah itu, gunakan panel Network pada alat pengembang browser, muat ulang URL, pilih permintaan dokumen utama, dan lihat bagian Response Headers. Cari X-Robots-Tag. Jika URL beralih, periksa respons akhir dan simpan rantai pengalihannya dalam catatan.

Contoh berikut hanya menunjukkan bentuk sinyal yang mungkin ditemukan. Jangan menempelkannya ke tema:

<meta name="robots" content="noindex, nofollow">
X-Robots-Tag: noindex

Spesifikasi tag robot Google menerangkan bahwa noindex mencegah sumber tampil dalam hasil penelusuran, sedangkan none setara dengan noindex, nofollow. Header X-Robots-Tag juga dapat membawa aturan yang sama dan berguna untuk sumber non-HTML. Karena itu, memeriksa HTML saja belum cukup untuk menyingkirkan kemungkinan pembatasan dari header respons.

Baca kombinasi yang berisiko bagi artikel

Pada artikel publik yang dimaksudkan untuk penelusuran, temuan noindex membutuhkan penelusuran asal. Cocokkan dengan pilihan Post and page dan tag kustom di editor artikel tersebut. Jika hanya halaman label atau arsip yang membawa noindex, jangan menyimpulkan bahwa artikel di dalamnya ikut noindex; buka URL artikel dan periksa sinyalnya sendiri.

Nofollow tingkat halaman juga perlu dibaca hati-hati pada beranda, label, atau arsip, karena halaman-halaman itu memuat jalur menuju artikel. Temuan ini tidak membuktikan artikel pasti tidak ditemukan, tetapi cukup menjadi alasan untuk meninjau tujuan pengaturan dan jalur internal lain. Untuk memahami akses crawler secara terpisah, gunakan panduan robots.txt Blogger.

Kombinasi Disallow dan noindex dapat membingungkan pemeriksaan. Google harus dapat merayapi URL untuk membaca tag robot atau X-Robots-Tag; bila robots.txt melarang pengambilan, aturan pengindeksan pada respons tersebut tidak dapat ditemukan. Karena itu, jangan menambahkan larangan robots.txt sebagai jalan pintas untuk memperkuat noindex.

Simpulkan per URL, lalu tentukan tindakan

Tulis kesimpulan dengan batas yang jelas, misalnya: “respons artikel saat pemeriksaan tidak memuat noindex pada meta robots, googlebot, atau X-Robots-Tag.” Hindari kalimat “artikel pasti akan diindeks”. Jika bukti langsung berbeda dari laporan lama, catat waktu pengujian dan waktu perubahan terakhir sebelum menilai penyebabnya.

Bila masalah muncul setelah domain atau akses blog berubah, lanjutkan ke pemeriksaan blog yang belum terindeks setelah domain aktif kembali. Untuk audit metadata halaman yang lebih luas, gunakan panduan judul, deskripsi, canonical, dan internal link Blogger. Kedua langkah itu menjawab masalah berbeda dan tidak perlu dikerjakan serentak tanpa bukti.

Jika perubahan memang diperlukan, ubah satu lingkup pada satu waktu, simpan alasannya, lalu ulangi pemeriksaan empat URL sampel. Dengan cara ini, pengelola dapat menunjukkan sinyal mana yang berubah dan menghindari pengaturan global yang tidak sengaja menutup artikel penting.