robots.txt & Sitemap untuk Blogger (Asas SEO + AdSense)

Ringkasan: robots.txt mengawal bahagian mana robot enjin carian boleh menjelajah. Sitemap pula memudahkan Google menemui halaman baharu blog anda. Fokus saya: mengelakkan pengindeksan halaman carian dalaman (/search) dan pastikan /sitemap.xml diisytiharkan.

Prinsip: benarkan kandungan, halang halaman carian dalaman, umumkan sitemap.

Mengapa Perlu robots.txt & Sitemap?

• Kemaskan pengindeksan: elak index halaman carian dalaman (/search) yang biasanya “nipis”/duplikasi.
• Memudahkan penemuan: sitemap.xml membantu Google mencari halaman baharu/yang jarang dipaut.
• AdSense mesra: set neutral—tidak menjejaskan pemaparan iklan, asalkan kandungan utama blog anda boleh diakses.

Langkah Aktifkan Custom robots.txt di Blogger

1. Buka Settings → Crawlers and indexing.
2. ON Enable custom robots.txt.
3. Klik Custom robots.txt → tampal salah satu templat di bawah → Save.

Templat robots.txt (Pilihan A — Ringkas & Selamat)

Halang halaman carian dalaman; benarkan yang lain; umumkan sitemap.

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://[DOMAIN-ANDA]/sitemap.xml

Ganti [DOMAIN-ANDA] (contoh: www.namadomain.com atau namablog.blogspot.com).

Templat robots.txt (Pilihan B — Benarkan Label Pages)

Jika anda mahu halaman label diindeks, benarkan laluan khusus /search/label/.

User-agent: *

Disallow: /search

Allow: /search/label/

Allow: /

Sitemap: https://[DOMAIN-ANDA]/sitemap.xml

Nota: Allow yang lebih spesifik mengatasi Disallow untuk laluan tersebut.

Sitemap untuk Blogger

• Blogger telah menyediakan /sitemap.xml secara automatik (termasuk pos; Blogger akan pecahkan kepada beberapa fail jika anda memiliki pos yang banyak).
• Terbitkan juga halaman statik & pastikan ia dipaut dari menu/footer untuk mudah ditemui.

Hantar Sitemap di Google Search Console

1. Login Search Console → pilih properti domain anda.
2. Menu Sitemaps → masukkan sitemap.xml → Submit.
3. Guna URL Inspection untuk periksa pos individual (Coverage/Indexing & “Page fetch”).

Mesra AdSense: robots.txt ini tidak menghalang skrip iklan (di-host di domain Google), dan tidak menyekat halaman kandungan. Pastikan /ads.txt kekal boleh diakses (Settings → Monetization).

Kesilapan Lazim & Cara Elak

• Menyekat terlalu banyak: contoh Disallow: / akan menutup keseluruhan blog daripada diindeks.
• Tiada Sitemap: terlupa baris Sitemap: …. Tambahkan supaya Google boleh “crawl” dengan cekap.
• Menyalin domain salah: semak ejaan www/https & subdomain.
• Mengunci label tanpa sedar: jika mahu label diindeks, guna Pilihan B (Allow /search/label/).

Soalan Lazim (FAQ)

S: Perlu crawl-delay atau arahan tambahan?
J: Tidak perlu untuk Blogger. Tetapan ringkas di atas memadai untuk kebanyakan blog.

S: Perlu tambah /sitemap-pages.xml?
J: /sitemap.xml sudah memadai untuk pos. Halaman statik akan ditemui jika dipaut dari navigasi (menu/footer). Fokus pada pautan dalaman yang jelas.

S: robots.txt ini menjejaskan iklan tak?
J: Tidak. Ia hanya mengarah robot enjin carian. Jangan sekat halaman kandungan atau fail penting tema.

📝Nota Penulis: Cara Saya Uji robots.txt & Sitemap

Saya bermula dengan Pilihan A (ringkas), hantar sitemap.xml di Search Console, kemudian pantau tab Pages di laporan Indexing. Jika label bermanfaat untuk navigasi pembaca, saya tukar ke Pilihan B. Setiap perubahan yang saya lakukan, saya akan memberikan masa 1–3 hari untuk kesannya meresap sebelum menilai semula.

Matlamat saya: kandungan utama diindeks pantas, halaman carian dalaman tidak membanjiri indeks, dan pengalaman pembaca kekal bersih.

✍️Nota Penulis (Lanjutan): Cara Saya Menguji robots.txt & Sitemap Secara Tersusun

Saya cenderung menggunakan pendekatan berfasa kerana perubahan pada robots.txt dan sitemap jarang memberi kesan serta-merta. Matlamat saya: kandungan cepat ditemui dan diindeks, halaman carian dalaman tidak membanjiri indeks, dan tiada aset penting (CSS/JS) yang tersekat.

Fasa 1 — Asas yang Selamat (Hari 1)

1. Aktifkan custom robots.txt dan guna Pilihan A (ringkas): Disallow: /search, Allow: /, dan umumkan /sitemap.xml.
2. Di Search Console → Sitemaps, hantar sitemap.xml dan semak status “Success”.
3. Gunakan URL Inspection pada 1–2 artikel baharu untuk pastikan “Crawled” → “Indexed” berjalan normal.

Fasa 2 — Pantau & Teguhkan (Hari 2–3)

• site:domain.com di Google: semak sampel halaman diindeks. Jika label penting untuk navigasi, saya pertimbang ke Pilihan B yang membenarkan /search/label/.
• Indexing → Pages (Search Console): lihat graf “Indexed, not submitted in sitemap” dan “Excluded (Alternate page)”. Kenaikan mendadak pada /search bermaksud tetapan tidak menapis dengan baik.
• Audit pautan dalaman: pastikan artikel saling dipaut (H2/H3 berkaitan). Sitemap bukan pengganti internal linking.

Fasa 3 — Penalaan (Hari 4–7)

Jika mahu label diindeks untuk memudahkan pembaca, saya beralih ke Pilihan B (benarkan /search/label/). Saya pantau sama ada halaman label menyumbang klik/CTR yang munasabah. Jika tidak, saya kembali ke Pilihan A kerana fokus utama ialah artikel.

Tip praktikal: Di Blogger, pastikan Settings → HTTPS Redirect = ON. Ini membantu Google mengekalkan satu versi URL (https) yang konsisten semasa meng-crawl.

Kajian Kes Mini: Label Banyak, Trafik Sedikit

Saya pernah menguji blog yang mengekalkan puluhan label. Dengan Pilihan B, label diindeks—tetapi CTR dari label sangat rendah, manakala artikel utama punya potensi trafik lebih tinggi. Selepas kembali ke Pilihan A, indeks menjadi lebih “bersih” (lebih banyak artikel unik ditonjolkan berbanding halaman label).

Isyarat “Bendera Merah” Yang Saya Elakkan

• Disallow berlebihan: Contoh Disallow: / menutup seluruh blog. Jika berlaku, saya pulihkan segera.
• Sitemap salah domain: Ejaan www/https atau subdomain blogspot.com mesti tepat.
• Menukar tetapan terlalu kerap: Saya beri 24–72 jam antara perubahan. Ulangan kerap menyukarkan menjejak punca.

Audit Ringkas di Search Console (Rutin Saya)

1. URL Inspection: uji satu URL baharu → klik “Test live URL” → “Request indexing” jika perlu.
2. Pages report: semak “Crawled — currently not indexed”. Jika meningkat untuk artikel baharu, saya semak struktur internal link (tajuk berkaitan, blok “Baca juga”).
3. Sitemaps: status mesti “Success” & bilangan URL selaras dengan jangkaan (Blogger memecahkan sitemap automatik mengikut jumlah pos).

Pelan “Rollback” (Jika Tersilap)

Jika saya tersalah halang laluan penting, saya segera kembalikan ke Pilihan A, simpan, kemudian “Request indexing” pada 1–2 pos utama supaya Google sedar perubahan. Selebihnya saya biarkan meresap secara semula jadi; indeks biasanya menormalkan semula dalam beberapa hari.

Prinsip saya: ringkas, boleh diramal, dan konsisten. Robots.txt bukan alat “menolak ranking”; ia pemegang pintu yang memastikan crawler fokus pada halaman yang bernilai kepada pembaca.

Checklist 48 Jam (Letak Di Sisi Monitor)

• [ ] Custom robots.txt aktif → Pilihan A atau Pilihan B (ikut tujuan label).
• [ ] sitemap.xml dihantar di Search Console (status “Success”).
• [ ] 1–2 artikel baharu diuji dengan “URL Inspection → Test live URL”.
• [ ] site:domain.com memaparkan terutamanya artikel (bukan /search).
• [ ] Internal linking wujud (pautan ke artikel berkaitan dalam siri “Tips Blogger · AdSense”).

Kesimpulan saya mudah: tetapan yang ringkas biasanya paling selamat. Apabila indeks lebih bersih, artikel baharu lebih cepat ditemui, dan pengalaman pembaca tidak “diheret” ke halaman nipis. Itulah asas SEO yang stabil—mesra pembaca, mesra mesin, dan tidak mengganggu AdSense.

---

🔖 Jelajah topik berkaitan: Tips Blogger • AdSense • Kompilasi

📩 Langgan Artikel Baru

Get new posts by email:

Powered by

⬆️ Kembali ke Atas

✍️ Ditulis oleh Eamyz Remy Jalal — seorang penulis bebas yang menulis dari hati, tentang hidup, rasa dan cerita kecil yang ada makna.
Kenali Remy lebih lanjut →