Zilele trecute am pornit cu un nou site si am tot stat sa caut o varianta buna de robots.txt pentru wordpress.
Ce este robots.txt?
Robots.txt este un fișier text ce are rolul de a informa spiderii( in special, spiderii de la google) ce anume au voie de indexeze și ce nu.
Sa trecem la treaba!
In primul rând trebuie sa definim spiderii:
User-agent: *
după ce i-am definit, trebuie sa restricționăm accesul la anumite foldere de pe hostul site-ului. Nu avem nevoie ca google sa indexeze fișiere precum cele ale pluginurilor, cache-ul găzduirii sau alte fișiere de genul.
Asa ca vom restrictiona urmatoarele:
Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes
După cum știți, Google penalizează foarte mult site-urile care au conținut duplicat. Așa ca, pentru a nu avea probleme pe viitor cu acesta trebuie sa adăugăm următoarele in robots.txt:
Disallow: /trackback Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /tag/ Disallow: /page/ Disallow: */feed/
Daca avem imagini pe site-ul nostru, este recomandat sa adaugam urmatoarele linii:
Allow: /wp-content/uploads # Google ImageUser-agent: Googlebot-Image Disallow: Allow: /* Daca am introdus adsense pe site e recomandat sa adaugam urmatoarele:
# Google AdSense User-agent: Mediapartners-Google *Disallow: Allow: /* Daca avem setat un sitemap pentru worpdress e recomandat sa-l trecem si in robots.txt. Vom "arata" spiderilor ca avem sitemap in felul urmator:
Sitemap: https://mariuscucu.ro/sitemap_index.xml
Punem toate de mai sus, una langa alta si obtinem robots.txt pentru wordpress !
În ultima vreme, după modificările de la Google, nu am mai făcut nicio modificare pentru robots. După cum vedeți aici am permis Google să îmi indexeze aproape orice. El a început să învețe tot mai multe despre site-uri. Totuși, vă recomand două pluginuri de seo foarte ok: Yoast Seo și All in One Seo. Acestea sunt în pas cu modificările Google, de fiecare dată.
Mersi mult de tutorial….Si asa nu mai vreau sa-mi apara fisierele zip sau alte alea pe google.
Cum se poate seta ca un anume fisier dintr-un director blocat sa fie totusi indexat ?
de ex eu am :
User-agent: *
Disallow: /images/
dar am in acest director fisierul oferta.pdf pe care as vrea sa il indexeze totusi
/images/banners/oferta.pdf
Multumesc de ajutor.
Incearca sa pui dedesupt Allow /images/banners/oferta.pdf si vezi cum il vede google. Chiar nu m-am lovit de aceasta problema pana acum.
Ai putea totusi sa-i faci un redirect daca nu merge varianta de mai sus. Adica Redirect /old_dir/ yourdomain.com/new_dir/index
Foarte bun tutorialul, astea cu siguranta ar trebui puse
Ms mult.Ma-ti ajutat enorm.
Multumesc tare frumos, respect „Marius Cucu” mai uimit cu chestia Adsense si Images.google.ro! As avea rugamintea sa-mi explici un pic mai explicit daca se poate cum pot opri sa mise indexeze imaginile pe site?
# Google ImageUser-agent
Googlebot-Image
Disallow: /wp-content/uploads
Disallow: /*
E ok asa?
Eu zic ca ultima linie nu are ce cauta, ca altfel nu-ti mai indexeaza site-ul.E suficient disallow: /wp-content/uploads
salutare am si eu o problema azi am primit in webmaster tool o problema de genul ….Googlebot can’t access your site Your site’s overall robots.txt error rate is 100.0%. as dori sa ma ajutati daca se poate sa remediez si eu aceasta eroare cum modific acest robot.text unde trebuie sa modific am tot cautat acest fisier insa fara succes,sunt si noua in domeniu asa ca va rog help me
Vad ca functioneaza ok, nu blochezi nimic „deranjat” pentru Google.
da dar dc sa fi primit acest mesaj desi mai am un site si pe acela la fel am primit sa fie oare din cauza hostingului sau cel la care am hostate siteurile sa fi facut ceva care sa ma defavorizeze adica am hostat siteurile la altcineva pana atunci nu am avut aceasta eroare deloc
E posibil ca hostingul sa fie de vina.
vad ca acum imi da o eroare Robots.txt Fetch nush dar si siteul a scazut foarte mult paginile indexate la jumate iar backlinkurile vad ca si ele scurs usor sa nu mai zic de trafica ca din 500 acum am maxim 60 de vizitatori un id de mess sa ma poti ajuta yamasha ? plizzz :((( ce ma fac sunt singurica si nu cunosc iar munca mea se duce de rapa :(((
Marius, te rog aruncă o privire și la mine și spune-mi ce ar trebui să fac. Thx!
Pai vad ca nu-l ai pus pe server sau… nu ai drept de acces pentru el.