Cara Optimasi Robots.txt di WordPress Supaya SEO Friendly

Assalamualaikum, pada artikel Cara Optimasi Robots.txt di WordPress Supaya SEO Friendly ini hanya buat saya sendiri untuk saya baca kembali jika saya lupa. Ini juga ada sedikit masukan sharing ilmu seo optimasi robots.txt dari pemain wallpaper wordpress supaya bisa memaksimalkan traffick dari pemcarian gambar, bagi para nyubi kayak saya, biar ga mudah lupa dan bisa dijadikan referensi di kemudian hari. Saya merupakan pemain Adsense Manual, yang “bersedia” nulis berbulan-bulan untuk dapat traffic alias pemain white hat. Agaknya jarang sekali ditemukan “spesies” seperti saya belakangan ini hihihi.. jadi saya terhitung langka :v
Kenapa coba? Karena kebanyakan sekarang pada copas artikel orang lain atau beli artikel biar makin instan.

Berawal dari pengalaman saya build website, manual di wordpress. Ya, tidak ada yang bisa diceritakan dari pembuatan website manual. Kenapa? Ya karena peminatnya makin lama makin sedikit saja. Jadi intinya, setiap saya publish article, kenapa kok cuma terindex “Featured Image” nya saja? Kenapa gambar-gambar yang lain kok ga ada yang keindex. Sudah submit URL, sudah submit sitemap, dan dll lah dilakukan. Tetep tidak terindex. Lha kok pas lagi sholat, kepikiran Robots.txt, crawling, allow, disallow… YA.. INI MUNGKIN SETTING ROBOTS.TXT saya yang bermasalah… Ini default Robots.TXT wordpress saya

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.website.com/sitemap.xml

Wogh… Pantesan… atau Wogh..Mungkin saja ini sebabnya. Karena belakangan GoogleBot sudah beranak pinak. Punya Googlebot-video, Google-Bot Image, Googlebot-Ads… Tidak mungkin sesimple itu kan? Akhirnya saya nemu. SEO Optimized Robots.txt Ini dibawah ini contohnya :

User-agent: * 
Disallow: /cgi-bin/ 
Disallow: /wp-admin/ Disallow: /readme.html 
Disallow: /comments/feed/ 
Disallow: /trackback/ 
Disallow: /index.php 
Disallow: /xmlrpc.php 
Disallow: /wp-content/plugins/ 
Disallow: /feed/ 
Disallow: */feed/ 
Allow: /wp-content/uploads/ 
User-agent: Mediapartners-Google 
Allow: / 
User-agent: Googlebot-Image 
Allow: /wp-content/uploads/ 
User-agent: Googlebot 
Allow: /wp-content/uploads/ 
User-agent: Adsbot-Google 
Allow: / 
User-agent: Googlebot-Mobile 
Allow: / Sitemap: https://domain.com/post-sitemap.xml 

Woalah.. emang saya yang katrok.. bisanya cuma nulis artikel doang T_T wp-content/uploads/ harus di allow, user agent nya Googlebot Ads sama Image. Harus allow soalnya traffic dari gambar kan lumayan. OMG… Ok. Sekian Notes kali ini. Kita akan lihat dalam beberapa hari kedepan. Apa udah keindex itu gambarnya…

Mungkin para pemain Wallpaper di wordpress udah pake ini juga. Duhhh…katrok banget saya T_T

Sedekit sharing buat ilmu pengetahuan, apa itu robots.txt dan bagaimana cara kerjanya?

Apa itu Robots.txt
Singkatnya, Robots.txt adalah sebuah file dengan format .txt yang wajib dimiliki tiap situs yang terdaftar pada mensin pencarian (google, yahoo, dan bing).

Jadi, Robots.txt ini memiliki peran penting dan berhubungan erat dengan SEO. Sebab, Robots.txt yang nantinya kita pasang atau kita Optimasi, akan berperan untuk mengontrol, atau juga mengatur halaman atau url mana, yang akan diindex mesin pencari.

Cara Kerja Robots.txt
Ketika sebuah Website yang memiliki domain TLD seperti (.com) maka secara otomatis, kalian memberikan izin kepada Robot perayap milik mesin pencari (google) untuk merayapi (meng-crawl) seluruh halaman web (.com) kalian. Dan ketika Robot perayap mencoba untuk meng-Crawl situs kalian. Robot Perayap tersebut akan pertama kali merayapi Robots.txt yang sudah kalian Optimasi.

Intinya adalah : Robot Perayap milik Mesin Pencarian tidak akan mengerti dengan Artikel yang kalian tulis. Melainkan ia akan membaca Robots.txt yang kalian Optimasi. Dan Robot Perayapan tidak akan merayapi Situs kalian apabila didalam Robots.txt yang kalian pasang, tidak memberikan izin kepada Robot Perayapan untuk meng-Crawl Situs/Website kalian.

Sekian dulu, tentang ” Cara Seo Optimasi Robots.txt di WordPress ” semoga bisa bermanfaat