Metode Menanggulangi Permasalahan Diindeks, Walaupun Diblokir Robot. txt

jalanpintas - Menanggulangi Permasalahan Warning Diindeks Walaupun Diblokir Oleh Robots. txt ataupun Indexed, though blocked by robots. txt ini umumnya timbul pada Google Search Console( console tipe baru) khususya buat web platform blogger.

gambar diambil dari google.com

Jika kita cek seluruh URL yang memperoleh pesan( diindeks, walaupun diblokir oleh robots. txt) ini, kesemuanya merupakan taman Search, ialah buat taman Search Label serta pula taman navigasi old post/ artikel lama. Tetapi mayoritas permasalahan yang timbul merupakan pada taman search.

Mengapa diindex Walaupun diblokir robot. txt

Kala Kamu memperoleh pesan Diindeks, walaupun diblokir oleh robots. txt di Google Search Console, mungkin Kamu hendak panik mendengar kata“ diblokir” serta“ akibat negatif” pada pesan tersebut. Kayaknya ini hendak jadi permasalahan besar buat Anda

Kamu wajib ketahui, kalau pesan yang ada pada Search Console Google itu sifatnya cumalah peringatan alias warning ataupun cuma suatu pemberitahuan. Bukan perihal yang wajib senantiasa diperbaiki. Sebab itu di peringatan tersebut tertulis,“ Hendaknya Kamu meninjau serta memikirkan buat membetulkan permasalahan ini.” Jadi butuh ditinjau serta dipertimbangkan. Maksudnya, setetah meninjau serta memikirkan kalau perihal tersebut bukan suatu permasalahan hingga tidak butuh ditanggapi.

Buat permasalahan ini, terdapat 2 tipe skenario yang menyebabkannya. Antara lain ialah:

1. Bila memakai default robots. txt

Saat ini coba Kamu check pada robot txt yang web Kamu pakai dengan mengakses link semacam contoh dibawah ini:

https:// www.jalanpintas.eu.org/ robots. txt

Umumnya penampakan robot txt yang timbul hendak mirip semacam dibawah ini saat sebelum di set[default]

User- agent: Mediapartners- Google
Disallow:

User- agent:*
Disallow:/ search
Allow:/
Sitemap: https:// www.jalanpintas.eu.org/ sitemap. xml

Pada robots. txt di atas sangat jelas membuktikan kalau seluruh taman Search tidak diizinkan buat dicrawl bot. Kantas mengapa senantiasa dirayari oleh robot?. Ini sebab taman search berkaitan dengan taman lain semacam breadcrumbs, widget label, navigasi halalam next serta prev.

Buat contohnya pada google search result dikala memperoleh pesan warning diindex tetapi diblokir robot

Perintah Disallow:/ artinya merupakan melarang bot/ mesin pencari buat merayapi taman ataupun direktori tersebut. perintah file diatas Disallow:/ search maksudnya melarang mesin pencari buat merayapi taman/ search. Contoh URL- nya:

https://example.com/search?q=kaos+distro
https://example.com/search/label/menulis?updated-max=2009-12-14T21:43:02-07:45&max-results=100start=20&by-date=false

Mengapa ini terencana dilarang oleh robot blogger? Sebab memanglah tidak butuh diindeks ataupun dirayapi. Taman search ini ialah taman tidak terbatas ataupun unlimited, sehingga hendak menghabiskan kuota bila di rayapi maupun diindeks. Malah perayapan serta index sepatutnya lebih mengutamakan taman posting.

Hendak lain ceritanya bila url search tersebut terletak pada link website lain. Kemungkina google hendak merayapi kemudian mengindeksnya serta masuk dalam catatan pencarian google.

Note: pengindeksan serta perayapan ialah 2 perihal yang berbeda.

Sehabis membaca penjelasan diatas, bisa jadi terdapat yang telah tidak lagi memikirkan problem Indexed, though blocked by robots. txt pada Google Search Console ini. Tetapi untuk Kamu yang senantiasa mau membetulkan permasalahan pesan diindex walaupun diblokir oleh robot txt ini, silakan ikuti baik- baik bimbingan berikut ini

Silahkan ubah robots. txt dengan kode berikut ini bila Kamu memakai robots. txt semacam di atas. Ataupun jika tidak ingin repot scroll keatas ini kodenya:

  
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://example.com/sitemap.xml

Ubah dengan kode sitemap yang ini :

User-agent: *
Disallow:
Sitemap: https://www.jalanpintas.eu.org/sitemap.xml
Sitemap: https://www.jalanpintas.eu.org/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.jalanpintas.eu.org/feeds/posts/default
Sitemap: https://www.jalanpintas.eu.org/sitemap-pages.xml

Silahkan ubah kode yang diisyarati dengan domain web Kamu. Buat kode berikut, buat baris baru bila artikel web Kamu telah di atas 500 :

Sitemap: https://www.jalanpintas.eu.org.com/atom.xml?redirect=false&start-index=501&max-results=500

Begitu seterusnya, bila artikel telah di atas 1000, hingga buat baris baru lagi semacam berikut:

Sitemap: https://www.jalanpintas.eu.org/atom.xml?redirect=false&start-index=1001&max-results=500

Hingga kala dimasukkan kedalam custom sitemap, jadinya semacam ini:

  
User-agent: *
Disallow:

Sitemap: https://www.jalanpintas.eu.org/sitemap.xml
Sitemap: https://www.jalanpintas.eu.org/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.jalanpintas.eu.org/atom.xml?redirect=false&start-index=501&max-results=500
Sitemap: https://www.jalanpintas.eu.org/atom.xml?redirect=false&start-index=1001&max-results=500
Sitemap: https://www.jalanpintas.eu.org/feeds/posts/default
Sitemap: https://www.jalanpintas.eu.org/sitemap-pages.xml

Silakan ganti https:// www. jalanpintas.eu.org dengan domain Anda

Setelah itu silahkan simpan kode meta tag noindex berikut di bagian<head

web buat memblokir bot pada taman arsip, search, label serta tidak menampilkannya di taman hasil percarian Google.

  
<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>

ataupun dapat pula dengan memakai tag kondisional terkini semacam ini

  
<b:if cond='data:blog.pageType in {&quot;archive&quot;} or data:blog.searchLabel or data:blog.searchQuery'>
<meta content='noindex,nofollow,noarchive,nosnippet,noimageindex' name='robots'/>
</b:if>

Saat ini coba Kamu submir robot. txt terkini Kamu pada settingan blogger. Setelah itu masuk ke Console serta jalani validasi pada warning Diindeks, walaupun diblokir oleh robots. txt serta silahkan pantau terus Search Console. Mungkin hasilnya tidak langsung, umumnya memerlukan waktu optimal 3 hari hingga laporan timbul. Pemberitahuan hendak timbul lewat email.

Demikian postingan kali ini tentang metode menanggulangi permasalahan diindex, walaupun diblokir oleh robot. txt pada platform blogspot.