nicht angemeldet
Site Sucker
Hallo Forum,
ich weiß nicht so wirklich ob die Idee gut oder schlecht ist. Ich würde gerne verhindern das man mit "web site sucker" tiefer als die startseite
unserer Website kommt.
Einige Seiten im Netz, scheinen es zu können.
Hat hier vieleicht jemand eine Idee ?
Danke,
Berdn
-
hi,
ich weiß nicht so wirklich ob die Idee gut oder schlecht ist. Ich würde gerne verhindern das man mit "web site sucker" tiefer als die startseite
unserer Website kommt.
Einige Seiten im Netz, scheinen es zu können.
Hat hier vieleicht jemand eine Idee ?wenn dieser sich mit einem bestimmten user agent string meldet, könnte man zugriffe mit diesem ja sperren - mod_rewrite oder allow/deny.
gruß,
wahsaga--
"Look, that's why there's rules, understand? So that you _think_ before you break 'em."-
Tausend Dank Wahsaga,
Du hast mir die richtige Stichwörter gegeben.
Schau mir jetzt mal diesen Link an:
http://www.abakus-internet-marketing.de/foren/viewtopic/t-8573.htmlDenke aber wer "böse" ist, bekommt eh alles.
Allen ein erfolgreiches Jahr,
Berdn
-
-
Hallo Forum,
ich weiß nicht so wirklich ob die Idee gut oder schlecht ist. Ich würde gerne verhindern das man mit "web site sucker" tiefer als die startseite
unserer Website kommt.Einige Seiten im Netz, scheinen es zu können.
Hat hier vieleicht jemand eine Idee ?
Sofern dieses Programm die robot.txt nicht umgehen kann - was ich nicht annehme, da sich eigentlich fast alle Programme an diese Richtline halten - könntest du es mal mit einer robot.txt probieren.
--
Mails bitte mit [Selfhtml] im Subject, ansonst werden sie vom Spamfilter rausgefiltert.-
hi,
Sofern dieses Programm die robot.txt nicht umgehen kann
falls es sich um http://www.sitesucker.us/basic.html handelt - zitat:
SiteSucker honors robots.txt exclusions and the Robots META tag.
gruß,
wahsaga--
"Look, that's why there's rules, understand? So that you _think_ before you break 'em."
-
-
mit "web site sucker"
Wieso ist es gerade dieses Programm, welches du aussperren willst?
Ich habe davon noch nie was gehört. Ich schätze mal, daß Programme wie wget, curl, (win)httrack, ... öfters verwendet werden. Mit all diesen Programmen könnte man deine Site dann noch komplett runterladen...
Was machste nu? :)Gruß, rob
-
Hallo rob,
ich wollte kein Programm diskriminieren, sondern meint die Programme als solches. Wie ist denn die offizielle Bezeichnung für diese Tools ??
Grüße,
Berdn
-
sondern meint die Programme als solches.
Ja, dachte, du meintest ein bestimmtes Programm, daß "Site Sucker" heißt.
Wenn du alle ausschließen willst, dann wird das schwieriger. Einige lesen die robots.txt. Damit könntest du die dann kriegen. Bei den anderen wird es schwieriger. Da könntest du allenfalls eine Liste mit User-Agents zusammenstellen, die du dann ausschließt. Aber nicht alle dieser Tools senden einen festen UA-String. Oftmals kann man das ja selbst beeinflussen, um gerade so ein Ausschliessen zu verhindern.
Wirklich gut wäre das damit nicht gelöst. Aber einige der bekannten Tools könnte man so wohl blocken. Weiß aber nicht, ob ich das machen würde.Wie ist denn die offizielle Bezeichnung für diese Tools ??
Offline-Browser? Site-Grabber? Keine Ahnung...
Gruß,
rob
-
-