wie robot.txt einbinden?

[Auge]

Hallo

Die Suchmaschinen bekommen ja nicht instantan mit, wenn auf irgendeiner von mittlerweile wohl hunderten Millionen wenn nicht gar Milliarden Websites eine robots.txt angelegt oder geändert wird. Die robots.txt wird dann zur Kenntnis genommen, wenn die Robots auf deiner Seite vorbeikommen. Das kann dann, je nach Dienst, auch erst nach ein paar Wochen sein.

Bitte nicht an der Zeilenformatierung rumdoktorn. So bleibt das erkennen von Zitaten und deren Verschachtelung erkennbar.

Ach so.  Ich dachte dass "Suchmaschine" und "Robot" das gleich sind, …

Jein. Die Suchmaschine ist das Programm, das du anschmeißt, wenn du auf der Seite deines präferierten Suchmaschinenanbieters eine Suche startest. Der Robot ist das Programm, das die Suchmaschinenanbieter (und nicht nur die) benutzen, um die Webseiten nach deren Inhalten abzugrasen. Das sind verschiedene Programme mit unterschiedlichen Aufgaben, die aber im Zusammenhang zueinander stehen.

… und die Webseite bei jeder Suche neu abgeklopft wird.

Wenn du mit Suche den Vorgang meinst, dass du mit der Suchmaschine deiner Wahl einen Suchvorgang zu einem bestimmten Begriff startest, nein. Falls du den Besuch eines Robots, der die Inhalte deiner Website ermitteln will, meinst, ja. Ein solcher Besuch kann aber durchaus etwas auf sich warten lassen. Nur, weil du eine robots.txt erstellt oder an einer bestehenden etwas geändert hast, kommt ein Suchmaschinenroboter nicht automatisch vorbei.

Bei einigen Suchmaschinenanbietern, wie z.B. Google, kann man mit einer Sitemap und/oder der expliziten Einladung wegen neuer Inhalte oder Regeln etwas nachhelfen.

Tschö, Auge