Suchmaschinen-Management

[fietur]

Woran machst du denn „unnötige“ Zugriffe fest?

Ok, schlechte Wortwahl. Das scharenweise Scannen nach Merkmalen, die offenbar nicht auf irgendwelchen Inhalt gerichtet sind. Und ja, einige scheinen es nötig zu haben.

„Unerwünschte Zugriffe“ wirst du nur mit einer geschlossenen Seite unterbinden können, sprich hinter einem Login (HTTP Authentication oder Login-Formular mit Cookies o.ä.).

Schon klar (und auch so realisiert). Reduzieren, nicht gänzlich unterbinden sollte das Ziel eher lauten. So wie z.B. eine temporäre IP-Sperre nach "unerwünschtem Zugriff" die Zahl der Folgezugriffe aus gleicher Quelle stark reduziert.

Aber es gibt Fallstricke. Ich habe beispielsweise für manche Beiträge eine Bewertungsfunktion in Form zweier als Buttons getarnter Links.

Buttons sollten auch Buttons sein und Aktionen, die etwas auf dem Server ändern, sollten niemals per GET ausgeführt werden können. Mit anderen Worten: Mach aus den „Links“ echte Buttons in einem Formular, das einen POST-Request absendet und verhindere auf dem Server CSRF.

Nicht immer ist das was soll auch das Sinnvollste. Ein Formular kann nicht überall eingebunden werden (zB. nicht in einer Tabelle. Aber darum geht es auch nicht). Die benötigten Parameter aus meinen Links werden nicht mittels GET-Schema übermittelt, sondern werden aus dem URL extrahiert.

Sollte ein Robot einen dieser Links anwählen (und sich für das voten des anderen disqualifizieren), verfälscht das die Bewertung und Beteiligung. Hier wäre ein rel="nofollow" im <a href=...> das Mittel der Wahl, oder?

Nein, denn es ist immer noch nur eine Bitte an einen Client.

An die sich die zahlenmäßig meisten Suchmaschinen halten. Aber danke, wieder ein Brett vorm Kopf entfernt; die Buttons werden also in ein Formular gepackt. Damit sollte das Voten durc Crawler der Vergangenheit angehören.

Und hier lautet meine Frage: Wie kann ich für solche <article> ein Finetuning vornehmen, so dass Google und Co einzelne davon indizieren, andere aber links liegen lassen?

Hast du einmal eine Suchmaschine deiner Wahl danach befragt?

Mein Verhältnis zu "intelligenten" Suchmaschinen ist eher gespalten. Meine Prompt-Fähigkeiten sind grottig. Ich finde immer nur Antworten, die sich auf die Indexierung ganzer Seiten beziehen. Ich suche allerdings eine Lösung dafür, von einer Seite nur bestimmte Bereiche auszunehmen. Das muss nicht vollständig wasserdicht sein.

Von allein kommen mir zwar ein paar kreative Ideen, aber die haben andere Nachteile. Eine Lösung wäre z.B. die entsprechenden Beiträge als SVG einzubinden und die Indexierung von SVG-Content als unerwünscht zu kennzeichnen.

Irgendwelche Ideen?