nicht angemeldet
Hallo,
ich hatte meine Website http://www.beiermann.de in allen großen Suchdiensten erfolgreich eingetragen. Heute habe ich dann zufällig festgestellt, dass sie plötzlich bei Altavista, Yahoo und Fireball nicht mehr aufgeführt wird.
Der Versuch, sie bei Fireball erneut anzumelden, endete mit dem Hinweis, dass der Suchroboter von Fireball die gemeldete Seite zwar besucht hat, aber nicht darauf zugreifen durfte. Als weitere Erklärung erhielt ich folgenden Hinweis: "Ihr Webmaster hat den Server, auf dem Ihre Seite liegt, durch eine "robots.txt"-Datei geschützt, die FIREBALL den Zugang zu Ihrer Seite verwehrt. Bitten Sie Ihren Webmaster, die "robots.txt"-Datei so zu ändern, daß unser Roboter auf Ihre Seite zugreifen darf, und melden Sie sie dann
erneut an."
Mein Provider, mit dem ich mich daraufhin in Verbindung gesetzt habe,
schreib mir folgendes:
"Die Fehlermeldung ist nicht ganz richtig. Denn nicht der Server ist durch eine robot.txt geschützt sondern Altavista und Fireball können nichts mit Webseiten anfangen die keine robot.txt in Ihrem Homeverzeichnis haben. Kurz gesagt heißt das Sie müssen eine robot.txt erstellen mit kompletten Lesezugriff, und in dieser expizit angeben welche Seiten der Roboter untersuchen soll."
Die robots.txt-Datei dient aber doch in erster Linie dazu, den Roboter von bestimmten Seiten auszuschließen!? Oder?
Ich habe es dann gegen mein besseres Wissen doch gemacht. Dennoch erhalte ich die selbe Fehlermeldung. Ich denke, dass etwas auf dem Server geändert wurde. Sicher hängt das damit zusammen, dass der Roboter in bestimmten Zeitabständen eine bereits gemeldete Site erneut aufsucht, um die Aktualität zu prüfen, und nun plötzlich nicht mehr zugreifen darf. Von daher denke ich, dass der Hinweis von Fireball doch nicht so falsch ist.
So, ich hoffe, ich habe euch nicht mit meiner Frage erschlagen und wäre für Hilfe sehr dankbar.
Vielen Dank!
Achim Beiermann