GoogleBot, bandbreedte-vretend monster maar door ons allen geliefd, wordt momenteel aangepast om nog dieper in sites en webcontent te graven.

Dit alles blijkt uit een bericht van Google’s Webmaster Central Blog.

De bedoeling is dat GoogleBot webformulieren, invulvelden en zelfs inlogvelden gaat verkennen. GoogleBot gaat dan iets invullen en kijken wat er dan uitkomt.

Het moet wel om een “kwaliteit” site zijn waarop de GoogleBot een paar queries mag uitvoeren. Een INPUT-box wordt ingevuld en uit SELECT-menu wordt een waarde geselecteerd. De resultaatpagina’s en nieuw gevonden links worden dan, indien interessant en waardevol voor de Googlebot, geïndexeerd. Zo vindt de GoogleBot nieuwe pagina’s en links die eerder moeilijk/niet bereikbaar waren. Formulieren die worden verzonden met de POST-methode worden hebben geen last van dit dieper gegraaf.

Het is mogelijk om resultaatpagina’s door middel van een robot.txt van Googlebot te weren. Nu Google dieper gaat graven in sites op deze manier is te verwachten dat er nog meer geheime/verborgen/ongewenste pagina’s het daglicht gaan zien. Het is dus verstandig om dit per site te bekijken en daar waar nodig is het een en ander te excluden!

Tot slot een leuk gerucht op WebmasterWorld: GoogleBot zou een creditcard hebben waarmee ze ook bestelformulieren e.d. gaat invullen. Webshops opgelet: