Langkau ke kandungan utama

robots.txt & Sitemap untuk Blogger (Asas SEO + AdSense)

 

robots.txt & Sitemap untuk Blogger (Asas SEO + AdSense)

Ringkasan: robots.txt mengawal bahagian mana robot enjin carian boleh menjelajah. Sitemap pula memudahkan Google menemui halaman baharu blog anda. Fokus saya: mengelakkan pengindeksan halaman carian dalaman (/search) dan pastikan /sitemap.xml diisytiharkan.
Blogger robots.txt & sitemap — tetapan asas SEO dan mesra AdSense
Prinsip: benarkan kandungan, halang halaman carian dalaman, umumkan sitemap.

Mengapa Perlu robots.txt & Sitemap?

  • Kemaskan pengindeksan: elak index halaman carian dalaman (/search) yang biasanya “nipis”/duplikasi.
  • Memudahkan penemuan: sitemap.xml membantu Google mencari halaman baharu/yang jarang dipaut.
  • AdSense mesra: set neutral—tidak menjejaskan pemaparan iklan, asalkan kandungan utama blog anda boleh diakses.

Langkah Aktifkan Custom robots.txt di Blogger

  1. Buka Settings → Crawlers and indexing.
  2. ON Enable custom robots.txt.
  3. Klik Custom robots.txt → tampal salah satu templat di bawah → Save.

Templat robots.txt (Pilihan A — Ringkas & Selamat)

Halang halaman carian dalaman; benarkan yang lain; umumkan sitemap.

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://[DOMAIN-ANDA]/sitemap.xml

Ganti [DOMAIN-ANDA] (contoh: www.namadomain.com atau namablog.blogspot.com).

Templat robots.txt (Pilihan B — Benarkan Label Pages)

Jika anda mahu halaman label diindeks, benarkan laluan khusus /search/label/.

User-agent: *

Disallow: /search

Allow: /search/label/

Allow: /

Sitemap: https://[DOMAIN-ANDA]/sitemap.xml

Nota: Allow yang lebih spesifik mengatasi Disallow untuk laluan tersebut.

Sitemap untuk Blogger

  • Blogger telah menyediakan /sitemap.xml secara automatik (termasuk pos; Blogger akan pecahkan kepada beberapa fail jika anda memiliki pos yang banyak).
  • Terbitkan juga halaman statik & pastikan ia dipaut dari menu/footer untuk mudah ditemui.

Hantar Sitemap di Google Search Console

  1. Login Search Console → pilih properti domain anda.
  2. Menu Sitemaps → masukkan sitemap.xml → Submit.
  3. Guna URL Inspection untuk periksa pos individual (Coverage/Indexing & “Page fetch”).
Mesra AdSense: robots.txt ini tidak menghalang skrip iklan (di-host di domain Google), dan tidak menyekat halaman kandungan. Pastikan /ads.txt kekal boleh diakses (Settings → Monetization).

Kesilapan Lazim & Cara Elak

  • Menyekat terlalu banyak: contoh Disallow: / akan menutup keseluruhan blog daripada diindeks.
  • Tiada Sitemap: terlupa baris Sitemap: …. Tambahkan supaya Google boleh “crawl” dengan cekap.
  • Menyalin domain salah: semak ejaan www/https & subdomain.
  • Mengunci label tanpa sedar: jika mahu label diindeks, guna Pilihan B (Allow /search/label/).

Soalan Lazim (FAQ)

S: Perlu crawl-delay atau arahan tambahan?
J: Tidak perlu untuk Blogger. Tetapan ringkas di atas memadai untuk kebanyakan blog.

S: Perlu tambah /sitemap-pages.xml?
J: /sitemap.xml sudah memadai untuk pos. Halaman statik akan ditemui jika dipaut dari navigasi (menu/footer). Fokus pada pautan dalaman yang jelas.

S: robots.txt ini menjejaskan iklan tak?
J: Tidak. Ia hanya mengarah robot enjin carian. Jangan sekat halaman kandungan atau fail penting tema.

📝Nota Penulis: Cara Saya Uji robots.txt & Sitemap

Saya bermula dengan Pilihan A (ringkas), hantar sitemap.xml di Search Console, kemudian pantau tab Pages di laporan Indexing. Jika label bermanfaat untuk navigasi pembaca, saya tukar ke Pilihan B. Setiap perubahan yang saya lakukan, saya akan memberikan masa 1–3 hari untuk kesannya meresap sebelum menilai semula.

Matlamat saya: kandungan utama diindeks pantas, halaman carian dalaman tidak membanjiri indeks, dan pengalaman pembaca kekal bersih.

✍️Nota Penulis (Lanjutan): Cara Saya Menguji robots.txt & Sitemap Secara Tersusun

Saya cenderung menggunakan pendekatan berfasa kerana perubahan pada robots.txt dan sitemap jarang memberi kesan serta-merta. Matlamat saya: kandungan cepat ditemui dan diindeks, halaman carian dalaman tidak membanjiri indeks, dan tiada aset penting (CSS/JS) yang tersekat.

Fasa 1 — Asas yang Selamat (Hari 1)

  1. Aktifkan custom robots.txt dan guna Pilihan A (ringkas): Disallow: /search, Allow: /, dan umumkan /sitemap.xml.
  2. Di Search Console → Sitemaps, hantar sitemap.xml dan semak status “Success”.
  3. Gunakan URL Inspection pada 1–2 artikel baharu untuk pastikan “Crawled” → “Indexed” berjalan normal.

Fasa 2 — Pantau & Teguhkan (Hari 2–3)

  • site:domain.com di Google: semak sampel halaman diindeks. Jika label penting untuk navigasi, saya pertimbang ke Pilihan B yang membenarkan /search/label/.
  • Indexing → Pages (Search Console): lihat graf “Indexed, not submitted in sitemap” dan “Excluded (Alternate page)”. Kenaikan mendadak pada /search bermaksud tetapan tidak menapis dengan baik.
  • Audit pautan dalaman: pastikan artikel saling dipaut (H2/H3 berkaitan). Sitemap bukan pengganti internal linking.

Fasa 3 — Penalaan (Hari 4–7)

Jika mahu label diindeks untuk memudahkan pembaca, saya beralih ke Pilihan B (benarkan /search/label/). Saya pantau sama ada halaman label menyumbang klik/CTR yang munasabah. Jika tidak, saya kembali ke Pilihan A kerana fokus utama ialah artikel.

Tip praktikal: Di Blogger, pastikan Settings → HTTPS Redirect = ON. Ini membantu Google mengekalkan satu versi URL (https) yang konsisten semasa meng-crawl.

Kajian Kes Mini: Label Banyak, Trafik Sedikit

Saya pernah menguji blog yang mengekalkan puluhan label. Dengan Pilihan B, label diindeks—tetapi CTR dari label sangat rendah, manakala artikel utama punya potensi trafik lebih tinggi. Selepas kembali ke Pilihan A, indeks menjadi lebih “bersih” (lebih banyak artikel unik ditonjolkan berbanding halaman label).

Isyarat “Bendera Merah” Yang Saya Elakkan

  • Disallow berlebihan: Contoh Disallow: / menutup seluruh blog. Jika berlaku, saya pulihkan segera.
  • Sitemap salah domain: Ejaan www/https atau subdomain blogspot.com mesti tepat.
  • Menukar tetapan terlalu kerap: Saya beri 24–72 jam antara perubahan. Ulangan kerap menyukarkan menjejak punca.

Audit Ringkas di Search Console (Rutin Saya)

  1. URL Inspection: uji satu URL baharu → klik “Test live URL” → “Request indexing” jika perlu.
  2. Pages report: semak “Crawled — currently not indexed”. Jika meningkat untuk artikel baharu, saya semak struktur internal link (tajuk berkaitan, blok “Baca juga”).
  3. Sitemaps: status mesti “Success” & bilangan URL selaras dengan jangkaan (Blogger memecahkan sitemap automatik mengikut jumlah pos).

Pelan “Rollback” (Jika Tersilap)

Jika saya tersalah halang laluan penting, saya segera kembalikan ke Pilihan A, simpan, kemudian “Request indexing” pada 1–2 pos utama supaya Google sedar perubahan. Selebihnya saya biarkan meresap secara semula jadi; indeks biasanya menormalkan semula dalam beberapa hari.

Prinsip saya: ringkas, boleh diramal, dan konsisten. Robots.txt bukan alat “menolak ranking”; ia pemegang pintu yang memastikan crawler fokus pada halaman yang bernilai kepada pembaca.

Checklist 48 Jam (Letak Di Sisi Monitor)

  • [ ] Custom robots.txt aktif → Pilihan A atau Pilihan B (ikut tujuan label).
  • [ ] sitemap.xml dihantar di Search Console (status “Success”).
  • [ ] 1–2 artikel baharu diuji dengan “URL Inspection → Test live URL”.
  • [ ] site:domain.com memaparkan terutamanya artikel (bukan /search).
  • [ ] Internal linking wujud (pautan ke artikel berkaitan dalam siri “Tips Blogger · AdSense”).

Kesimpulan saya mudah: tetapan yang ringkas biasanya paling selamat. Apabila indeks lebih bersih, artikel baharu lebih cepat ditemui, dan pengalaman pembaca tidak “diheret” ke halaman nipis. Itulah asas SEO yang stabil—mesra pembaca, mesra mesin, dan tidak mengganggu AdSense.

🔖 Jelajah topik berkaitan: Tips Blogger • AdSense • Kompilasi

📩 Langgan Artikel Baru

✍️ Ditulis oleh Eamyz Remy Jalal — seorang penulis bebas yang menulis dari hati, tentang hidup, rasa dan cerita kecil yang ada makna.
Kenali Remy lebih lanjut →

Label:

Ulasan

Catat Ulasan

Terima kasih kerana baca sampai sini. Kalau ada rasa yang sama, pengalaman serupa, atau sekadar nak tinggalkan jejak_ saya hargai sangat. Jangan segan, komen je😌

Catatan popular daripada blog ini

Apa Itu Cinta, Bila Kita Perlu Ingat Diri

  “Kadang-kadang cinta bukan datang untuk dimiliki — tetapi untuk menguji cara kita menjaga diri.” Apa Itu Cinta, Bila Kita Perlu Ingat Diri Cerita Kehidupan • Refleksi tentang rasa, batas, dan kesedaran Ada puisi yang tidak datang untuk disorak, tetapi untuk dibaca perlahan-lahan — seperti seseorang yang mengetuk pintu hati dengan jari yang sopan. Puisi begini tidak menjerit, tidak memujuk, dan tidak meminta simpati. Ia hanya menceritakan satu perkara yang paling jujur: rasa . Puisi kiriman Umi ini seakan menyebut cinta sebagai sesuatu yang hadir tanpa diduga — datang “tanpa suara atau kata”, lalu tiba-tiba memenuhi ruang dalam diri. Namun yang menjadikannya istimewa bukan sekadar rindu dan sakit yang ditulis, tetapi satu kesedaran yang matang: bila rasa itu semakin kuat, manusia perlu ingat diri . ...
Catat Ulasan
Read more »

Apa Saya Belajar Dari Ella Edisi Khas: Ratu Rock dan Hati Yang Pemalu

Bila hati belajar, hidup pun berubah. 🎓Apa Saya Belajar Dari Ella -  Edisi Khas: Ratu Rock dan Hati Yang Pemalu  Grafik Khas "Apa Saya Belajar Dari Ella"_ satu penghormatan kepada Ratu Rock Malaysia yang membuktikan bahawa menjadi pemalu juga boleh jadi luar biasa.(Bukan gambar sebenar) 📝 Nota Penulis: Ini adalah entri pertama dalam siri Apa Saya Belajar Dari.... dan saya memilih untuk mulakan dengan seseorang yang sangat istimewa di hati saya_ Ella, Ratu Rock Malaysia. Ia bukan sekadar tentang minat terhadap muzik, tetapi lebih kepada pelajaran tentang kehidupan yang saya kutip dari kehadiran dan kisah beliau sepanjang tahun. Entri ini lebih panjang daripada biasa kerana ia juga adalah surat terbuka, pengakuan, dan penghargaan kepada seorang selebriti yang secara tidak langsung telah menemani perjalanan saya dari kecil hingga dewasa. Dari Jempol ke Dinding Rumah  Saya mula mengenali Ella bukan secara langsung dari pentas besar, tetapi melalui kaca tele...
4 ulasan
Read more »

Dari Bisa ke Cinta: Kisah Romantis Ratu Medusa dan Xiao Yan dalam Dunia Battle Through The Heavens

Dari Bisa ke Cinta: Kisah Romantis Ratu Medusa dan Xiao Yan dalam Dunia  Battle Through The Heavens Simbol cinta dalam dunia pergolakan — ilustrasi Ratu Medusa dan Xiao Yan yang menggambarkan transisi dari permusuhan kepada kasih sejati. Assalammualaikum dan salam sejahtera kepada semua pembaca!  Masih ingat lagi anime-aksi popular yang penuh debaran dan emosi, Battle Through the Heavens (BTTH)  ? Jika anda peminat dunia penuh seni bela diri, pertarungan epik, dan emosi mendalam, artikel ini ditulis khas buat anda! Kali ini kita akan menyelami sisi yang lebih peribadi dalam dunia BTTH- iaitu kisah cinta antara dua watak yang sangat berbeza latar belakang dan asal-usul, namun dipertemukan takdir: Ratu Medusa( Cai Lin) dan Xiao Yan. Bukan sekadar kisah aksi, BTTH turut menyelitkan elemen cinta yang mencengkam hati.  Bagaimana Aku Mengenali BTTH? Perkenalan aku dengan Battle Through the Heavens berlaku kira-kira kira-kira empat tahun lepas- secara ti...
Catat Ulasan
Read more »