[Talk-de] Wiki nicht mehr auffindbar
Dimitri Junker
OSM at dimitri-junker.de
So Jan 4 11:25:06 UTC 2009
Hallo,
>Google findet seit einiger Zeit keine Seiten aus dem OSM-Wiki mehr.
>Liegt das an der robots.txt?
Die robots.txt scheint etwas restriktiv, ich habe davon aber keine Ahnung,
aber als vor einigen Tagen das Wiki scheinbar nicht erreichbar war (kam nach
ewiger Wartezeit dann doch) wollte ich mir per Waybackmachine ansehen und da
kam die Meldung, daß wegen der robots.txt die Seite nicht gespeichert wurde.
....
Wenn ich mir die robots.txt ansehe fällt sehe ch viele Verbote, aber nicht
für irgendeinen google-crawlwer, es sei denn in dessen Namen kommt google
nicht vor.
Dimitri
Mehr Informationen über die Mailingliste Talk-de