Hallo,
ich verstehe nicht, warum Google die ganzen Session ID's und Seo-ID's bei mir indexiert, obwohl in der robots auf disallowed steht.??
Ich habe vorhin irgendwo gelesen, dass man Session-ID auf true hätte gleich setzen sollen und zu einem späteren Zeitpunkt wirkt es nicht...
Stimmt das? Das Problem ist ja auch, dass die Seo-ID's auch mit indexiert werden und in den Webmaster-Tools aber alle unter "Crawling-Fehler" stehen ( gesperrt durch robots). Wenn nun robots Dateien sperrt und google es auch erkennt, warum sind die dann trotzdem im Index?? Ich muss fast täglich ca. 100 URL's bei Google löschen, dass sie dann aus dem Index fliegen.
Irgendwo mache ich was verkehrt, oder?
( Ich weiß, es werden jetzt bestimmt viele bei meiner Frage mit dem Kopf schütteln, weil die sicherlich völlig dusselig ist, aber ich bin leider nicht so versiert und würde gerne verstehen... )
Ich sehe den Sinn aber nicht so recht, warum Dateien gesperrt werden, Google sie auch als gesperrt in eine Liste einträgt, diese Dateien aber trotzdem in den Index kommen... Ich kann doch nicht ständig diese Liste "abarbeiten"!? Ich habe dann ja mehr bei Google zu tun, als dass ich bei meinem Shop weiterkomme...