Kenapa coba? Karena kebanyakan sekarang pada copas artikel orang lain atau beli artikel biar makin instan.
Berawal dari pengalaman saya build website, manual di wordpress. Ya, tidak ada yang bisa diceritakan dari pembuatan website manual. Kenapa? Ya karena peminatnya makin lama makin sedikit saja. Jadi intinya, setiap saya publish article, kenapa kok cuma terindex “Featured Image” nya saja? Kenapa gambar-gambar yang lain kok ga ada yang keindex. Sudah submit URL, sudah submit sitemap, dan dll lah dilakukan. Tetep tidak terindex. Lha kok pas lagi sholat, kepikiran Robots.txt, crawling, allow, disallow… YA.. INI MUNGKIN SETTING ROBOTS.TXT saya yang bermasalah… Ini default Robots.TXT wordpress saya
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.website.com/sitemap.xml
Wogh… Pantesan… atau Wogh..Mungkin saja ini sebabnya. Karena belakangan GoogleBot sudah beranak pinak. Punya Googlebot-video, Google-Bot Image, Googlebot-Ads… Tidak mungkin sesimple itu kan? Akhirnya saya nemu. SEO Optimized Robots.txt Ini dibawah ini contohnya :
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/ Disallow: /readme.html
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /feed/
Disallow: */feed/
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Googlebot
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: / Sitemap: https://domain.com/post-sitemap.xml
Woalah.. emang saya yang katrok.. bisanya cuma nulis artikel doang T_T wp-content/uploads/ harus di allow, user agent nya Googlebot Ads sama Image. Harus allow soalnya traffic dari gambar kan lumayan. OMG… Ok. Sekian Notes kali ini. Kita akan lihat dalam beberapa hari kedepan. Apa udah keindex itu gambarnya…
Mungkin para pemain Wallpaper di wordpress udah pake ini juga. Duhhh…katrok banget saya T_T
Sedekit sharing buat ilmu pengetahuan, apa itu robots.txt dan bagaimana cara kerjanya?
Apa itu Robots.txt
Singkatnya, Robots.txt adalah sebuah file dengan format .txt yang wajib dimiliki tiap situs yang terdaftar pada mensin pencarian (google, yahoo, dan bing).
Jadi, Robots.txt ini memiliki peran penting dan berhubungan erat dengan SEO. Sebab, Robots.txt yang nantinya kita pasang atau kita Optimasi, akan berperan untuk mengontrol, atau juga mengatur halaman atau url mana, yang akan diindex mesin pencari.
Cara Kerja Robots.txt
Ketika sebuah Website yang memiliki domain TLD seperti (.com) maka secara otomatis, kalian memberikan izin kepada Robot perayap milik mesin pencari (google) untuk merayapi (meng-crawl) seluruh halaman web (.com) kalian. Dan ketika Robot perayap mencoba untuk meng-Crawl situs kalian. Robot Perayap tersebut akan pertama kali merayapi Robots.txt yang sudah kalian Optimasi.
Intinya adalah : Robot Perayap milik Mesin Pencarian tidak akan mengerti dengan Artikel yang kalian tulis. Melainkan ia akan membaca Robots.txt yang kalian Optimasi. Dan Robot Perayapan tidak akan merayapi Situs kalian apabila didalam Robots.txt yang kalian pasang, tidak memberikan izin kepada Robot Perayapan untuk meng-Crawl Situs/Website kalian.
Sekian dulu, tentang ” Cara Seo Optimasi Robots.txt di WordPress ” semoga bisa bermanfaat
