Goggle Seite entfernen

[Benny]

Hi
ich will bei Google alle Einträge meiner Seite entfernen.

geht das? wie?

Gruss
Benny

[Rouven]

Hello,

ich will bei Google alle Einträge meiner Seite entfernen.

warum glauben die Leute eigentlich immer es sei schneller einen (wenn auch kurzen) Beitrag in einem Forum zu schreiben anstatt verdammt nochmal einfach beim Anbieter nachzuschauen...

MfG
Rouven

[Gunther]

Hello,

hehe ..., zwei Doofe - ein Gedanke! ;-)

warum glauben die Leute eigentlich immer es sei schneller einen (wenn auch kurzen) Beitrag in einem Forum zu schreiben anstatt verdammt nochmal einfach beim Anbieter nachzuschauen...

Weil ihnen hier trotzdem (schneller) geholfen wird!?
Aber vielleicht meinte er ja wirklich "Goggle"?

Gruß Gunther

[Jannes]

Hi,

warum glauben die Leute eigentlich immer es sei schneller einen (wenn auch kurzen) Beitrag in einem Forum zu schreiben anstatt verdammt nochmal einfach beim Anbieter nachzuschauen...

ist jetzt ein bischen OT, aber was Google da schreibt:
-----
Entfernen eines veralteten ("toten") Links
Google aktualisiert seinen Index regelmäßig. Bei unserem Web-Durchgang finden wir neue Seiten, legen tote Links ab und aktualisieren Links automatisch. Links, die veraltet sind, werden jetzt bei unserem nächsten Web-Durchgang aus dem Index meistens "entfernt".
-----

ist meiner Erfahrung nach totaler Humbug. In den Errorlogs meiner Webseite finden sich in hübscher Regelmäßigkeit Googlebots, die URLs suchen, die zum Teil seit 7 Jahren nicht mehr existieren. Soviel zum Thema: werden jetzt bei unserem nächsten Web-Durchgang aus dem Index meistens "entfernt"

Gruß,
Jannes

[Gunther]

Hi Jannes!

ist meiner Erfahrung nach totaler Humbug. In den Errorlogs meiner Webseite finden sich in hübscher Regelmäßigkeit Googlebots, die URLs suchen, die zum Teil seit 7 Jahren nicht mehr existieren. Soviel zum Thema: werden jetzt bei unserem nächsten Web-Durchgang aus dem Index meistens "entfernt"

Wie Google seinen Index erstellt und "aufräumt" bleibt nunmal ihre Sache und man kann sich diesbezüglich nur auf das verlassen, was sie einem an Informationen geben.

Es gibt aber auch einige Dinge, die man selber tun kann, bzw. in jedem Fall machen sollte:

• robots.txt für die relevanten Verzeichnisse erstellen
• passende HTTP-Header senden (z.B. 410 Gone)

Ich würde aktuell mal stark davon ausgehen, dass Google solche Informationen in geeigneter Weise "auswertet/ berücksichtigt".

Und wenn alles nichts hilft, könnte man auch noch versuchen, sich hilfesuchend an Google selber zu wenden (keine Ahnung, ob das was bringt, aber einen Versuch sollte es wert sein).

Gruß Gunther

[Jannes]

Hi Gunther,

Es gibt aber auch einige Dinge, die man selber tun kann, bzw. in jedem Fall machen sollte:

• robots.txt für die relevanten Verzeichnisse erstellen

Habe ich. Könnte ich aber noch mal auf Korrektheit und Vollständigkeit prüfen.

• passende HTTP-Header senden (z.B. 410 Gone)

Aha, wenn 7 Jahre lang immer 404 gesendet wird, ist das nicht ausreichend? ;-)

Und wenn alles nichts hilft, könnte man auch noch versuchen, sich hilfesuchend an Google selber zu wenden (keine Ahnung, ob das was bringt, aber einen Versuch sollte es wert sein).

Ja, das werde ich machen, in der vorgeschlagenen Reihenfolge, erst mal 410 Header für die Kandidaten senden, und mal 1-2 Monate warten obs was bringt.

Dann wäre der Errorlog höchstens noch ein Drittel so lang, und der verbleibende Rest sind dann zu ca. 98% Bots die nach Standardschwachstellen suchen, oder wie man das nennt: von IP 210.83.81.80 wurden z.B. in weniger als 1 Minute 87 Einträge erzeugt mit Kombinationen zu einem Admininterface, wie z.B. /webeditor/admin_login.asp. Die IP verweist auf einen Chinesichen Rechner, der anscheinend zu einem Hoster gehört. Wenn man die IP übern Browser aufruft bekommt man die phpinfo() angezeigt. Wenn man die IP bei Google eingibt findet man ähnliche Berichte z.B. in einem chinesichen WordPress-Forum usw. Wenn ich wüsste, wie man zuverlässig solche Zugriffe (alle nach dem 1.) sperren könnte, würde ich es sofort machen.

Merci,
Jannes

[Gunther]

Hi Jannes!

Dann wäre der Errorlog höchstens noch ein Drittel so lang, und der verbleibende Rest sind dann zu ca. 98% Bots die nach Standardschwachstellen suchen, oder wie man das nennt: von IP 210.83.81.80 wurden z.B. in weniger als 1 Minute 87 Einträge erzeugt mit Kombinationen zu einem Admininterface, wie z.B. /webeditor/admin_login.asp. Die IP verweist auf einen Chinesichen Rechner, der anscheinend zu einem Hoster gehört.
...
Wenn ich wüsste, wie man zuverlässig solche Zugriffe (alle nach dem 1.) sperren könnte, würde ich es sofort machen.

Wenn du auf "Besucher" über den entprechenden IP-Bereich (hier: 210.83.81.64 - 210.83.81.127
) verzichten kannst, dann sperre sie doch bspw. per .htaccess oder direkt in der .conf Datei aus

Gruß Gunther

[Jannes]

Hi Gunther,

Wenn du auf "Besucher" über den entprechenden IP-Bereich (hier: 210.83.81.64 - 210.83.81.127
) verzichten kannst, dann sperre sie doch bspw. per .htaccess oder direkt in der .conf Datei aus

Zugriff auf die .conf habe ich nicht, aber .htaccess. Aber immer alle Zugriffe aus einem IP-Bereich sperren ist heftig und widerstrebt mir. Wenn ein Zugriff auf eine bestehende URL erfolgt, soll sie auch geliefert werden. Sehr wahrscheinlich gibt es evtl. gar keinen oder nur einen "chinesichen Zugriff" mit guten Absichten pro Jahr auf meine Seite, aber soll ich den dann verhindern, nur weil andere aus dem IP-Bereich son Sche... machen. Im übrigen gibts solche Versuche ja auch aus anderen IP-Bereichen. Da wäre eine Lösung die alle "bösen Besucher" "einschliesst" schon besser.

Gruß,
Jannes

[Deus Figendi]

Du könntest versuchen im Falle dessen, dass jemand auf die entsprechenden Unterseiten zugreift (/web-admin etc. wirst ja eine kleine Liste haben), die nicht existiert (also die du nicht benutzt) dass du dann von einem serverseitigen Script die .htaccess modifizieren lässt, dass genau diese eine IP ab sofort gesperrt ist. Die Sperre hebst du dann nach fünf Minuten oder so wieder auf.
Falls das nicht fruchtet ggf. Frist verlängern. Ist imho einen Versuch wert.

[Jannes]

Hallo,

dass du dann von einem serverseitigen Script die .htaccess modifizieren lässt, dass genau diese eine IP ab sofort gesperrt ist. Die Sperre hebst du dann nach fünf Minuten oder so wieder auf.

Aha. Das sieht ja auf den ersten Blick recht einfach und wenig aufwändig aus:

• mit Apache ein Script aufrufen lassen bei Code 404,
• das Script prüft den Request mit einer Black- oder Whitelist oder ähnlich
• bei Bedarf wird ein Eintrag in die htaccess geschrieben wie z.B. "deny from 1.2.3.4  # [1249913124]" (hinter dem Kommentarzeichen notiert man den Zeitstempel)

Aber ich habe gar kein gutes Gefühl dabei, sozusagen unkontrolliert in meine htaccess im Rootverzeichnis schreiben zu lassen. Was ist bei Zugriffskonflikten, also wenn 2 Requests nahezu gleichzeitig einen Eintrag schreiben wollen? Da muß man dann mit Dateilocking oder wie das heißt arbeiten. Und davon habe ich keine Ahnung bzw. weiß nicht wie zuverlässig das ist.

Gibt es nicht auch eine andere Möglichkeit, dem Apachen eine IP-Sperrliste mitzuteilen, wie z.B. per Umgebungsvariabel?

Gruß,
Jannes

[Jannes]

Das Thema lässt mich nicht los ;-)

Aber ich habe gar kein gutes Gefühl dabei, sozusagen unkontrolliert in meine htaccess im Rootverzeichnis schreiben zu lassen. Was ist bei Zugriffskonflikten, also wenn 2 Requests nahezu gleichzeitig einen Eintrag schreiben wollen? Da muß man dann mit Dateilocking oder wie das heißt arbeiten. Und davon habe ich keine Ahnung bzw. weiß nicht wie zuverlässig das ist.

Hierzu gibt es im SELF-raum einen hervorragenden Artikel von Christian Seiler: http://aktuell.de.selfhtml.org/artikel/programmiertechnik/dateisperren/. Demnach kann man das schon zuverlässig umsetzen.

Bleibt noch herauszufinden, ob eine evtl. notwendige Zugriffsrechte-Erweiterung der htaccess-Datei (von jetzt bei mir 644) nicht akzeptable Risiken bergen könnte.

Gibt es nicht auch eine andere Möglichkeit, dem Apachen eine IP-Sperrliste mitzuteilen, wie z.B. per Umgebungsvariabel?

Hierzu habe ich noch nix gefunden, aber auch noch nicht wirklich gesucht.
Wenn jemand was weiß, dann bitte posten.

Gruß,
Jannes

[ChrisB]

Hi,

Hierzu gibt es im SELF-raum einen hervorragenden Artikel von Christian Seiler: http://aktuell.de.selfhtml.org/artikel/programmiertechnik/dateisperren/. Demnach kann man das schon zuverlässig umsetzen.

File Locking funktioniert nur, wenn alle Beteiligten "mitspielen".

Wenn du das per PHP umsetzt, dann "funktioniert" das in Konkurrenz-Situationen, in denen andere PHP-Prozesse/-Scriptinstanzen, die ebenfalls "mitspielen", beteiligt sind.

Was .htaccess angeht, hast du aber noch einen beteiligten - den Apachen.
Da können sich deine PHP-Scripte, die die .htaccess beschreiben sollen, noch so schön und höflich darüber einig sein, wer "zuerst darf" und wer bescheiden wartet - wenn der Apache die Datei gerade einlesen will, während eines deiner PHP-Scripte sie gerade erst unvollständig neu geschrieben hat, hast du trotzdem ein Problem. Im *harmlosesten* Falle nur einen 500 Internal Server Error, der beim nächsten Request wieder passe ist.

MfG ChrisB

[Malcolm Beck´s]

hi,

Im *harmlosesten* Falle nur einen 500 Internal Server Error, der beim nächsten Request wieder passe ist.

Was wäre hier eigentlich das Worst-Case-Szenario?

Ich weiss, dass wenn ich mit FTP viele Ressourcen, Bilder und Skripte, auf einen schlag auf den Server lade, dieser für die Zeit, bis alles hochgeladen ist, nur noch mit einem 500er quittiert -- könnten an dieser stelle auch Daten verloren gehen?
Ich nutze Filezilla als FTP-Client.

mfg

[Jannes]

Hallo ChrisB,

File Locking funktioniert nur, wenn alle Beteiligten "mitspielen".

[...]

Was .htaccess angeht, hast du aber noch einen beteiligten - den Apachen.
Da können sich deine PHP-Scripte, die die .htaccess beschreiben sollen, noch so schön und höflich darüber einig sein, wer "zuerst darf" und wer bescheiden wartet - wenn der Apache die Datei gerade einlesen will, während eines deiner PHP-Scripte sie gerade erst unvollständig neu geschrieben hat, hast du trotzdem ein Problem.

hmm, das heißt also, das man damit im "Bestenfall" erreichen kann, das der Apache die Datei nicht lesen kann (vorausgesetzt man kann exklusives, verpflichtendes Dateilocking nutzen)? Er würde dann aber ohne die Datei zu parsen weiterarbeiten, und nicht "bemerken" das die Datei gesperrt ist und aufs entsperren warten? In den meisten Fällen, (Unix und PHP, bzw flock = nicht verpflichtende Dateisperre), würde der Apache, wie Du schon gesagt hast, einfach die Datei lesen, egal was das PHP-Script gerade macht. Autsch!

Für die aktuelle Geschichte hat es sich damit dann erübrigt.

Bleibt noch die Frage nach Alternativen: kennst Du welche?

Gruß,
Jannes

[ChrisB]

Hi,

hmm, das heißt also, das man damit im "Bestenfall" erreichen kann, das der Apache die Datei nicht lesen kann (vorausgesetzt man kann exklusives, verpflichtendes Dateilocking nutzen)?

Nein - wie gesagt, file locking basiert darauf, dass alle Beteiligten sich "absprechen". Wenn du in PHP irgendwas "lockst", weiss der Apache da aber nichts von.

Er würde dann aber ohne die Datei zu parsen weiterarbeiten, und nicht "bemerken" das die Datei gesperrt ist und aufs entsperren warten?

Nein, er würde sie einfach einzulesen versuchen, weil er von einer "Sperre" gar nichts weiss.
Und wenn ein PHP-Script gerade dabei ist, die Datei neu zu schreiben, dann ist sie bestenfalls gerade "leer", wenn der Apache zugreift - aber noch wahrscheinlicher unvollständig, und damit sehr wahrscheinlich auch syntaktisch fehlerhaft, also bleibt dem Apachen dann nichts andere übrig, als den Request mit einem 500 Internal Server Error zu quitieren.

MfG ChrisB

[Jannes]

Hallo ChrisB,

Nein, er würde sie einfach einzulesen versuchen, weil er von einer "Sperre" gar nichts weiss.
Und wenn ein PHP-Script gerade dabei ist, die Datei neu zu schreiben, dann ist sie bestenfalls gerade "leer", wenn der Apache zugreift - aber noch wahrscheinlicher unvollständig, und damit sehr wahrscheinlich auch syntaktisch fehlerhaft, also bleibt dem Apachen dann nichts andere übrig, als den Request mit einem 500 Internal Server Error zu quitieren.

ja, das ursprüngliche Anliegen, 'böse' IP's kurzfristig auszusperren lässt sich wohl auch (besser) ohne dynamisches Schreiben in die htaccess-Datei realisieren. Ich habe bisher nur dazu ein paar Artikel gelesen, hauptsächlich auf AskApache, aber mangels Zeit bisher noch nichts davon ausprobieren können. Hier bietet sich z.B. mod_rewrite an, aber auch mod_action und anderes. Wußte gar nicht was man alles direkt mit dem Apache machen kann.

Gruß,
Jannes

[Malcolm Beck´s]

hi,

• passende HTTP-Header senden (z.B. 410 Gone)

Aha, wenn 7 Jahre lang immer 404 gesendet wird, ist das nicht ausreichend? ;-)

Es kann ja ein fehler Seitens des Webservers vorliegen, dass diese Seite nicht gefunden wird ... gut, ganze 7 Jahre wäre schon übertrieben, aber möglich.

Ein Status: 410 sagt: hier war was, aber das ist weg, definitiv, und zwar für immer, also Bot, scher dich fort!
Und in der Regel reagiert Google auf diesen Hinweis, und zwar so, wie gewünscht, in dem er sich hinfort schert.

mfg

[Detlef G.]

Hallo Jannes

ist meiner Erfahrung nach totaler Humbug. In den Errorlogs meiner Webseite finden sich in hübscher Regelmäßigkeit Googlebots, die URLs suchen, die zum Teil seit 7 Jahren nicht mehr existieren. Soviel zum Thema: werden jetzt bei unserem nächsten Web-Durchgang aus dem Index meistens "entfernt"

Ja und?
Tauchen diese toten Links auch noch in den Suchergebnissen auf?
Wurde mittels geeigneten Header mitgeteilt, dass es dort definitiv nichts gibt und wohl auch nie mehr geben wird?
Oder wurde mittels robots.txt mitgeteilt, dass er dort nicht mehr suchen soll?
Vielleicht gibt es auch auf irgendwelchen Seiten noch Links auf die toten Seiten, denen Google folgt.

Google versucht alles zu finden, was es gibt. Also wird der Boot von Zeit zu Zeit auch immer mal wieder dort nachschauen, wo er mal etwas gefunden hat, zumindest solange es ihm nicht verboten oder definitiv mitgeteilt wird, dass es dort nichts wieder geben wird.

Auf Wiederlesen
Detlef

[Gunther]

Hi!

ich will bei Google alle Einträge meiner Seite entfernen.

Immer wieder erstaunlich, dass User lieber hier fragen, als erstmal auf den Seiten des jeweiligen Anbieters zu suchen.

geht das? wie?

Entfernen von URLs

Gruß Gunther

[Benny]

Immer wieder erstaunlich, dass User lieber hier fragen, als erstmal auf den Seiten des jeweiligen Anbieters zu suchen.

Hier wird einem halt kompetent und schnell geholfen

Benny

[Cyx23]

Hallo,

http://www.google.com/support/webmasters/bin/answer.py?answer=61062

"können Sie das Verfahren mit dem Tool zur Entfernung von URLs beschleunigen. Dieses Tool steht in den Google Webmaster-Tools bereit."

Nur konnte ich das zuletzt in den Webmaster-Tools nicht finden, die ganzen Tools wurden mir aber zugleich auch in anderem Layout als früher angezeigt.
Hat sich da irgendwas inhaltlich bei Google geändert, oder hab ich es einfach übersehen?

Grüsse

Cyx23

[ChrisB]

Hi,

Nur konnte ich das zuletzt in den Webmaster-Tools nicht finden, die ganzen Tools wurden mir aber zugleich auch in anderem Layout als früher angezeigt.
Hat sich da irgendwas inhaltlich bei Google geändert, oder hab ich es einfach übersehen?

Site configuration -> Crawler access -> Tab 'Remove URL'

MfG ChrisB

[Cyx23]

Hallo,

Site configuration -> Crawler access -> Tab 'Remove URL'

sieht gut aus, danke!

Grüsse

Cyx23