Verbreitung von Schriftarten, Browsern, etc. im Internet?

[Elessar]

Hi!
Und zwar würd ich gern mal rausfinden wie die Verbreitung von bestimmten schriftarten, Browsern, Betriebssystemen, etc. im Internet ist. Es gibt doch sicher eine Seite auf der man das nachlesen kann.
Kennt da jemand zufällig eine solche Seite?
Schon mal vielen Dank im Voraus
Elessar

[Johannes Zeller]

Hallo Elessar

Und zwar würd ich gern mal rausfinden wie die Verbreitung von bestimmten schriftarten, Browsern, Betriebssystemen, etc. im Internet ist.

Solche Daten lassen sich nicht genau erfassen, da sich Browser als andere Browser ausgeben können, oder die Browserkennung weglassen können. Alle Statistiken, die du findest werden nur Näherungswerte sein. Die Verbrietung von Schriftarten lässt sich sowieso nicht herausfinden.

Allerdings solltes du diese Statistiken nicht zum Leitfaden für deine Seitengestaltung machen, sonder deine Website browserunabhängig entwickeln. Das Problem von nicht vorhanden Schriftarten kannst du umgehen, indem du Alternative Schriftarten und eine generische Familie angibts.

Es gibt doch sicher eine Seite auf der man das nachlesen kann.
Kennt da jemand zufällig eine solche Seite?

Guck dir mal
    http://www.webhits.de/deutsch/index.shtml?/deutsch/webstats.html
und http://www.google.com/press/zeitgeist/zeitgeist-mar03.html
und http://webalizer.teamone.de/ an.

Schöne Grüße

Johannes

[Stefan Einspender]

Hallo,

http://webalizer.teamone.de/

da schaue ich gerade und sehe, dass das Forum im laufenden Monat
schon 78 GB Traffic verursacht hat, was ja auch nicht wenig ist.

Viel erstaunlicher ist allerdings, dass das Forum am 02.05.2003
an nur einem einzigen Tag sage und schreibe 37 GB Traffic hatte,
wie ist sowas möglich? Die meisten Tage im Mai liegen so zwischen
1 und 2 GB, wie kann da ein Tag derart extrem herausragen?

Viele Grüße,
Stefan

PS: Wenn ich http://webalizer.teamone.de/selfhtml/ sehe, frage ich
    mich auch, warum die Leute zu faul sind, sich einfach mal ca.
    8 MB runterzuladen und nicht auf dem Server hier jeden Monat
    40 GB Traffic zu verursachen. Klar, es gibt sicher etliche,
    die die Online-Variante benutzen müssen, aber genausogut
    werden etliche im Zeitalter von DSL & Co. einfach keinen
    Bezug zu Traffic und den damit verbundenen Kosten haben.

[MudGuard]

Hi,

PS: Wenn ich http://webalizer.teamone.de/selfhtml/ sehe, frage ich
    mich auch, warum die Leute zu faul sind, sich einfach mal ca.
    8 MB runterzuladen und nicht auf dem Server hier jeden Monat
    40 GB Traffic zu verursachen. Klar, es gibt sicher etliche,
    die die Online-Variante benutzen müssen, aber genausogut
    werden etliche im Zeitalter von DSL & Co. einfach keinen
    Bezug zu Traffic und den damit verbundenen Kosten haben.

Naja, einiges davon dürfte dadurch verursacht werden, daß hier im Forum auf die online-Variante verlinkt wird -
wäre ja sinnlos, wenn jemand auf http://localhost/selfhtml/ verlinken würde...

Ach ja, 37GB am Tag: eine kräftige DoS-Attacke...

cu,
Andreas

[Stefan Einspender]

Hallo Andreas,

Ach ja, 37GB am Tag: eine kräftige DoS-Attacke...

stimmt, über die IP 129.217.16.140 und die gehört der Uni Dortmund.

Viele Grüße,
Stefan

[Andreas Korthaus]

Hi!

Ach ja, 37GB am Tag: eine kräftige DoS-Attacke...

Der wars: http://websearchbench.cs.uni-dortmund.de/

;-)

Grüße
Andreas

[Sven Rautenberg]

Moin!

Viel erstaunlicher ist allerdings, dass das Forum am 02.05.2003
an nur einem einzigen Tag sage und schreibe 37 GB Traffic hatte,
wie ist sowas möglich? Die meisten Tage im Mai liegen so zwischen
1 und 2 GB, wie kann da ein Tag derart extrem herausragen?

Das war ein unfreundlicher Suchspider.

Wie du der Liste der Liste der IP-Adressen entnehmen kannst, fällt eine ganz besonders durch hohen Traffic heraus: http://webalizer.teamone.de/selfforum/usage_200305.htm#TOPSITES

Und wie du der RIPE-Whois-DB entnehmen kannst http://www.ripe.net/perl/whois?form_type=simple&full_query_string=&searchtext=129.217.16.140&do_search=Search, gehört diese IP zur Uni Dortmund.

Und wenn du dich per Mail mit dem Hostmaster in Verbindung setzt, warum die denn das dreißigfache des normalen Traffics verursachen müssen, dann kommt als Antwort, dass man für irgendein Projekt eine neue, hochentwickelten Suchmaschine mit Spider basteln wird.

Und dann stellt man sich als Serverbetreiber die Frage, was die mit Version 0,1 des Spiders denn überhaupt wollen. Der kann kein gzip-Encoding, der überflutet unfreundlich fremde Server, und eine Entschuldigung kommt auch nicht.

Das ist aber nicht der erste Spider, der den Selfserver in einen Grenzbereich bringt, sowas kam in der Vergangenheit schon häufiger vor. Und wenn die Betreiber auf EMails nicht reagieren, wird die IP-Adresse halt einfach vom Zugriff ausgeschlossen - Pech eben, aber unumgänglich, um den regulären Betrieb aufrecht zu erhalten.

- Sven Rautenberg

[Stefan Einspender]

Hallo Sven,

Das war ein unfreundlicher Suchspider.

-unfreundlicher +untauglicher

Und wenn du dich per Mail mit dem Hostmaster in Verbindung setzt, warum die denn das dreißigfache des normalen Traffics verursachen müssen, dann kommt als Antwort, dass man für irgendein Projekt eine neue, hochentwickelten Suchmaschine mit Spider basteln wird.

Aha, dann hätte ich mir die e-Mail eben also sparen können. Naja,
jedenfalls finde ich es absolut inakzeptabel, wenn hier, offenbar
auch noch mit Billigung der Uni (!) regelrechte DoS-Attacken auf
fremde Server gestartet werden. Vielleicht haben die Damen und
Herren vergessen, dass bei einigen Internetnutzern Traffic noch
Kosten verursacht und nicht Dateileitungen mit unbegrenztem
Traffic zur Verfügung stehen [1].

Und wenn die Betreiber auf EMails nicht reagieren, wird die IP-Adresse halt einfach vom Zugriff ausgeschlossen - Pech eben, aber unumgänglich, um den regulären Betrieb aufrecht zu erhalten.

Würde ich sofort machen (IP-Sperre), schließlich weiß man nicht,
wo die Schmerzgrenze von Primekom liegt und ich denke, es muß
auch nicht mit solchen Aktionen ausprobiert werden.

Viele Grüße,
Stefan

[1] Ich bin selbst erstaunt, aber laut der DFN-Website gibt es der-
    artige Tarife: http://www.dfn.de/win/gwin/dienste/internet.html

[Ole]

hi

Würde ich sofort machen (IP-Sperre), schließlich weiß man nicht,
wo die Schmerzgrenze von Primekom liegt und ich denke, es muß
auch nicht mit solchen Aktionen ausprobiert werden.

obendrein sollte man dem verursacher eine rechnung über den verursachten traffic schicken.

so long
ole
(8-)>

[Thomas J.S.]

Hallo Stefan,

Aha, dann hätte ich mir die e-Mail eben also sparen können. Naja,
jedenfalls finde ich es absolut inakzeptabel, wenn hier, offenbar
auch noch mit Billigung der Uni (!) regelrechte DoS-Attacken auf
fremde Server gestartet werden. Vielleicht haben die Damen und
Herren vergessen, dass bei einigen Internetnutzern Traffic noch
Kosten verursacht und nicht Dateileitungen mit unbegrenztem
Traffic zur Verfügung stehen [1].

Stümperhaft haben sie auf alle fälle gearbeitet, aber was ich dabei nicht einsehe ist die Tatsache, dass sie fremde (nicht Uni) Server als Übungsziel benutzen, wobei gerade die Unis das nicht nötig hätten.

[1] Ich bin selbst erstaunt, aber laut der DFN-Website gibt es derartige Tarife:

Kostenlos gibts dort ja auch nichts und ein 2Mbit/s Leitung mit unbegrentzen Traffic kostet satte EUR 1875.- pro Monat, stellt dir das mal bei den Massenprovidern vor. ;-)

Grüße
Thomas

[Frank Schönmann]

hi!

[1] Ich bin selbst erstaunt, aber laut der DFN-Website gibt es der-
    artige Tarife:

Naja, durch die Geschwindigkeit ist ja die maximale Übertragungsmenge
beschränkt. Mehr als 150.000 GB werden die da im Monat auch nicht durch
die Leitung jagen können, und das entspricht dann auch ungefähr den
Beschränkungen für die schnelleren Leitungen.

bye, Frank!

[Andreas Korthaus]

Hi!

Und wenn du dich per Mail mit dem Hostmaster in Verbindung setzt, warum die denn das dreißigfache des normalen Traffics verursachen müssen, dann kommt als Antwort, dass man für irgendein Projekt eine neue, hochentwickelten Suchmaschine mit Spider basteln wird.

Zitat: "High-end Technologie für Internet Suchmaschinen" ;-)

2 Probleme gab es hierbei.

1. Die Meta-Angabe im Head des Forums:

<meta name="robots" content="noindex,noarchive">

da steht nicht "nofollow" oder "none", das sollte man vielleicht ändern da zumindest _dieser_ Spider sich wohl dran gehalten hätte.

2. Die vielen Requests habe ich bis jetzt noch nicht 100%ig nachvollziehen können, aber an die Requests ist meist sowas wie %234234 angehängt, halt sowas:

GET /?t=47698&m=260444%234234

Und beim genaueren hinsehen(ich habe alle Requests des Servers mit einem PHP-Script untersucht - es gab tatsächlich keine 2 identischen Request-Strings von besagter Domain, eben wegen diesen %234234, dafür wurden die meisten Seiten mehrere 100 mal angefordert, halt immer mit anderer %-Nummer)

Wenn ich das richtig verstanden habe dann liegt es an den <img src="/src/xopen.gif" border="0" alt="">

http://forum.de.selfhtml.org/?t=47713&a=close#t47713

sowas gab es sehr oft als Referer. Aber so 100%ig sicher bin ich da noch nicht da ich nicht an solche Links komme, sah ein bisschen so aus als hätte der crawler  alle möglichen Threads geschlossen, und dann jedesmal ne andere ID hinter den eigentlich selben Links gehabt und die dann neu abgefragt. Naja, dazu kommt noch das das Forum ja nicht inaktiv bleibt und sich die Recourcen so auch zusätzlich verändern, noch während er aktiv ist.

Ich würde unbedingt folgendes auf alle Seiten des Forums schreiben:

<meta name="robots" content="nofollow,noindex,noarchive">

oder

<meta name="robots" content="none">

Das schadet sicher nicht! Mit einer robots.txt geht es ja eigentlich nicht, da wir ja die Unterseiten durchsuchbar machen wollen, und da es kein allow gibt kann man nicht sagen disallow / und allow /archiv/ (obwohl es ja manche wie google könnten).
Ein anderer Weg wäre noch das Selfarchiv auf eine eigene Subdomain zu legen das fänd ich gar nicht so schlecht, denn dann hätte man klar den dynamischen Teil vom statischen abgekapselt, dann könnte man eine entsprechende robots.txt verwenden, und vielleicht sogar noch andere Dinge, keine Ahnung. Oder man verwendet einfach beides, für die Suchmaschinen die subdomain selfarchiv.teamone.de und das ist dasselbe Verzeichnis wie forum.de.selfhtml.org/archiv/, nur ohne robots.txt.

Naja, das nur so als Gedanken, die meta-Angaben sollten doch eigentlich dasselbe erreichen, denn dazu sind sie da, und alles könnte so bleiben wie es ist.

Viele Grüße
Andreas

[Stefan Einspender]

Hallo Andreas,

Ein anderer Weg wäre noch das Selfarchiv auf eine eigene Subdomain zu legen das fänd ich gar nicht so schlecht, denn dann hätte man klar den dynamischen Teil vom statischen abgekapselt, dann könnte man eine entsprechende robots.txt verwenden, und vielleicht sogar noch andere Dinge, keine Ahnung.

die Idee finde ich ausgesprochen sinnvoll. Auf den ersten Blick würde
ich denken, dass man doch dann auch die Archivinhalte als statische
Dateien ablegen kann, was imho einen Performance-Gewinn für den Server
bringt oder irre ich da?

Und wenn es dann auf forum.de.selfhtml.org irgendwelche Probleme gibt,
dann ist davon wirklich nur das Forum betroffen.

Viele Grüße,
Stefan

[MudGuard]

Hi,

Und beim genaueren hinsehen(ich habe alle Requests des Servers mit einem PHP-Script untersucht - es gab tatsächlich keine 2 identischen Request-Strings von besagter Domain, eben wegen diesen %234234, dafür wurden die meisten Seiten mehrere 100 mal angefordert, halt immer mit anderer %-Nummer)

Kleine Anmerkung % ist ja das Kennzeichen eines URL-Kodierten Zeichens (% + 2 Hexziffern).
%23 = #

Es handelt sich also um #4234 usw.

Aus irgendeinem Grund wird hier also ein fragment identifier zu einem Teil des letzten Parameters verwurschtelt...

cu,
Andreas

[Andreas Korthaus]

Hi!

Kleine Anmerkung % ist ja das Kennzeichen eines URL-Kodierten Zeichens (% + 2 Hexziffern).
%23 = #

Es handelt sich also um #4234 usw.

Aus irgendeinem Grund wird hier also ein fragment identifier zu einem Teil des letzten Parameters verwurschtelt...

AH! Da bin ich ja _übrhaupt_nicht_ drauf gekommen, genau das war es wohl! Nur verstehe ich den Zusammenhang imemr noch nicht. So ein Crawler kann ja im Normalfall kein Javascript, also gucke ich mir das Forum mal ohne Javascript und ohne /my/ an aber da finde ich einfach keine Links nach dem Schema wie der Crawler requests gestartet hat.

Die waren immer sowas:

/?t=47698&m=260599%2334545

Wobei ich mir bei %23 jetzt nicht unbedingt sicher bin, aber alles andere wäre total unlogisch. Nur stehen solche Links _nirgendwo_, also wo bekommt der crawler die her?

Grüße
Andreas

[Andreas Korthaus]

Hi!

Wobei ich mir bei %23 jetzt nicht unbedingt sicher bin, aber alles andere wäre total unlogisch. Nur stehen solche Links _nirgendwo_, also wo bekommt der crawler die her?

So, das Problem war, der Crawler kann kein JS, dann werden Links generiert, der Form:

http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44806
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44805
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44385
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44387

Wobei %2C für , steht. Naja, der Crawler "klickt" auf "schließen", udn dann wird an alle Links die ID der geschlossenen Threads gehängt, und das äändert sich natürlich bei jedem Schließen eine s Threads, udn zwar für alle Links. so hat er sich halt verirrt. Ist halt beta, nichts desto trotz sollte man die meta-Anageb zu robots anpassen damit wenigstens sowas vermieden wird.

Grüße
Andreas

[Thomas J.S.]

Hallo Andreas,

So, das Problem war, der Crawler kann kein JS, dann werden Links generiert, der Form:

Das verstehe ich nicht, seit wann muss ein Crwaler JS können, bzw. was hat JavaScript damit zu tun?

Wobei %2C für , steht. Naja, der Crawler "klickt" auf "schließen", udn dann wird an alle Links die ID der geschlossenen Threads gehängt, und das äändert sich natürlich bei jedem Schließen eine s Threads, udn zwar für alle Links. so hat er sich halt verirrt. Ist halt beta, nichts desto trotz sollte man die meta-Anageb zu robots anpassen damit wenigstens sowas vermieden wird.

Wenn der Crawler klicken "muss", wobei ich auch nciht weiss, was er schließen soll, es sei den ... er macht für jede Posting ein eigenes Fenster auf, aber das kann nciht sein, denn dann ist es nicht beta sonder ein fehl-Software.

Na ja ... just my 2 c.

Grüße
Thomas

[Michael Schröpl]

Hi Thomas,

Wobei %2C für , steht. Naja, der Crawler "klickt" auf "schließen", udn dann wird an alle Links die ID der geschlossenen Threads gehängt, und das äändert sich natürlich bei jedem Schließen eine s Threads, udn zwar für alle Links. so hat er sich halt verirrt. Ist halt beta, nichts desto trotz sollte man die meta-Anageb zu robots anpassen damit wenigstens sowas vermieden wird.
Wenn der Crawler klicken "muss", wobei ich auch nciht weiss, was er schließen soll, es sei den ... er macht für jede Posting ein eigenes Fenster auf, aber das kann nciht sein, denn dann ist es nicht beta sonder ein fehl-Software.

falls ich das Problem richtig verstanden habe, dann fängt der Crawler damit an, aus der Forums-Hauptdatei sämtliche Links zu extrahieren, weil er ja in die entsprechende Richtung weiter traversieren will. Bei denjenigen Links, welche tatsächlich zu Threads führen, ist das auch die richtige Entscheidung; bei denjenigen Links, welche nur zu einer inhaltlich reduzierten Darstellung derselben Hauptdatei führen (eben das "Schließen" eines threads), ist das keine gute Idee, denn aus der entsprechenden Seite wird er zwar eine Information gewinnen können, die er noch nicht hat, nicht aber eine, die ihn "inhaltlich weiterbringt". Und bei n aktiven Threads gibt es 2^n mögliche Ausblendungs-Zustände ... entsprechend explodiert dann die Anzahl der Anforderungen auf "customized" Hauptdatei-Ansichten, die letztlich alle wiederum nur zu denjenigen Threads führen, welche der Crawler alle schon aus der vollständigen Hauptansicht kennt.
(Von benutzerspezifischen Restriktionen in der /my/-Ansicht reden wir besser gar nicht - diese ist glücklicherweise auch hinter der Authentifizierungs-Anforderung verborgen, da kommt ein Crawler nicht ran.)

Sämtliche aufgrund von Benutzereinstellungen oder -interaktionen dynamisch entstandenen Varianten der Forums-Hauptdatei sollten für Suchmaschinen-Robots also nicht ansprechbar sein.
Da das entsprechende Forums-Skript sehr wohl weiß, ob es die vollständige aktuelle Hauptdatei ausgibt oder eine wie auch immer reduzierte Form, könnte sie dies durch entsprechende <meta>-Tags innerhalb der generierten HTML-Seite zum Ausdruck bringen ... das ist aber zu spät, in diesem Moment hat der Crawler bereits das Unglück angerichtet. Das entsprechende URL-Muster mit Query-Strings, welche auf solche Restriktionen hinweisen, müßte also in der "robots.txt" definiert sein - nur dann kann der Crawler diese reduzierten Hauptdatei-Ansichten anders behandeln als die vollständige Ansicht.

Falls eine Suchmaschine sich an solche Angaben nicht gebunden fühlt, dann wäre es zumindest aus dieser Perspektive sinnvoll, ihr Seiten mit "Links verschiedener Klassen" anzubieten. Beispielsweise wäre es - nur aus der Suchmaschinen-Perspektive - sinnvoll, wenn funktionell einschränkende Links über JavaScript realisiert würden, während Links auf Threads aus normalem TML-Code bestehen würden ... ja, ich weiß, daß das Forum dann von JavaScript abhängig würde und daß wir diesen Preis nicht bezahlen wollen.
Aber bloß mal um die Idee weiter zu denken: Die Auslieferung der entsprechenden Seite erfolgt durch eine serverseitige Intelligenz. Diese könnte über eine automatische Auswertung des HTTP-UserAgent oder sonstiger, für gängige Browser übliche HTTP-Header eine Unterscheidung zwischen Dialog-Clients und Suchmaschinen-Crawler vornehmen und letzteren entsprechend modifizierte Seiten ausliefern. Ja, auch das ist ein Problem, weil die Unterscheidung angesichts von UserAgents wie "Ferrari 352" nur mit aufwändiger manueller Konfiguration halbwegs in den Griff zu bekommen ist ... aber es gibt sehr wohl Firmen, die genau so etwas tun (einige sogar, um Google damit zu spammen - wir hatten hier im Forum schon Threads zu diesem Thema).
Fakt ist, daß es fehlerhaft arbeitende Software gibt und daß diese entsprechende Wirkungen auf ein Web-Portal haben _kann_. Die Frage bleibt, auf welcher Ebene eine Reaktion erfolgen könnte. Die oben skizzierten Ideen versuchen, auf der Ebene von HTML bzw. HTTP zu agieren; alternativ wäre beispielsweise denkbar, einen modifizierten Webserver einzusetzen, welcher den Traffic pro Tag und Client-IP-Adresse limitiert (wobei "IP-Adresse" wahrscheinlich nicht ausreichen wird - vielleicht das entsprechende 3-Byte-IP-Adreß-Segment?). In diesem Fall würde der Server nicht zwischen einem absichtlichen DoS-Angriff und einem irrelaufenden Crawler unterscheiden - aber wäre das so schlimm?

Hm ... ich mag Probleme, zu denen es keine einfachen Lösungen gibt. ;-)

Viele Grüße
      Michael

[Andreas Korthaus]

Hi Michael, hi Thomas!

falls ich das Problem richtig verstanden habe, dann fängt der Crawler damit an, aus der Forums-Hauptdatei sämtliche Links zu extrahieren, weil er ja in die entsprechende Richtung weiter traversieren will. Bei denjenigen Links, welche tatsächlich zu Threads führen, ist das auch die richtige Entscheidung; bei denjenigen Links, welche nur zu einer inhaltlich reduzierten Darstellung derselben Hauptdatei führen (eben das "Schließen" eines threads), ist das keine gute Idee, denn aus der entsprechenden Seite wird er zwar eine Information gewinnen können, die er noch nicht hat, nicht aber eine, die ihn "inhaltlich weiterbringt". Und bei n aktiven Threads gibt es 2^n mögliche Ausblendungs-Zustände ... entsprechend explodiert dann die Anzahl der Anforderungen auf "customized" Hauptdatei-Ansichten, die letztlich alle wiederum nur zu denjenigen Threads führen, welche der Crawler alle schon aus der vollständigen Hauptansicht kennt.

Genau das ist das Problem gewesen. Die Frage die mich interessiert, "wer ist Schuld"? Jetzt nicht um ein großes Trarah drum zu machen, sondern um es in Zukunft evtl. verhindern zu könne. Daher fände ich das mit kpl. Javascript auch gar nicht so schlecht, Javascript ist genau für solche Dinge hervorragend geeignet, wenn jemand was gegen Javascript hat dann muss er halt auf gewissen "Komfort" verzichten - meine Meinung. Denn die Frage ist - wieviele Besucher ohne Javascript nutzen das mit dem Schließen der Links überhaupt? Ist das überhaupt einer? Wiegt denn dieser Komfort für einige wenige mehr als die Gefahr durch verirrte Crawler? Wobei man auf der anderen Seite durchaus bemerken muss, dass anderen Crawlern sowas ja schließlich nicht passiert, also liegt die Schuld wohl beim Crawler.

Die Frage ist:

wenn ich diese beiden Links parse, erzeuge ich dann 2 Requests?
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44806
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44805

Sämtliche aufgrund von Benutzereinstellungen oder -interaktionen dynamisch entstandenen Varianten der Forums-Hauptdatei sollten für Suchmaschinen-Robots also nicht ansprechbar sein.
Da das entsprechende Forums-Skript sehr wohl weiß, ob es die vollständige aktuelle Hauptdatei ausgibt oder eine wie auch immer reduzierte Form, könnte sie dies durch entsprechende <meta>-Tags innerhalb der generierten HTML-Seite zum Ausdruck bringen ... das ist aber zu spät, in diesem Moment hat der Crawler bereits das Unglück angerichtet.

Wozu soll man da unterschieden? IMHO fehlt eine Angabe bei Meta-Tags: "nofollow" oder besser "none", keine Robot soll in der Hauptdatei nach Links suchen, also warum ist das nicht entsprechend verboten?

Das entsprechende URL-Muster mit Query-Strings, welche auf solche Restriktionen hinweisen, müßte also in der "robots.txt" definiert sein - nur dann kann der Crawler diese reduzierten Hauptdatei-Ansichten anders behandeln als die vollständige Ansicht.

IMHO sollte man alle robots ausschließen, nur geht das nicht da das Archiv unter der gleichen Adresse erreichbar ist, daher die Idee mit der eigenen Subdomain für das Archiv, ähnlich der Suche, eine Trennung brächte sicher einige weitere Vorteile. Wie gesagt kann man ja die aktuellen Links stehen lassen, aber durch eine robots.txt komplett absperren. Oder einen "permanently moved" Header. Dann könnte man sowohl beim Forum, als auch beim Archiv bei Problemen die subdomain komplett sperren...

Fakt ist, daß es fehlerhaft arbeitende Software gibt und daß diese entsprechende Wirkungen auf ein Web-Portal haben _kann_. Die Frage bleibt, auf welcher Ebene eine Reaktion erfolgen könnte. Die oben skizzierten Ideen versuchen, auf der Ebene von HTML bzw. HTTP zu agieren; alternativ wäre beispielsweise denkbar, einen modifizierten Webserver einzusetzen, welcher den Traffic pro Tag und Client-IP-Adresse limitiert (wobei "IP-Adresse" wahrscheinlich nicht ausreichen wird - vielleicht das entsprechende 3-Byte-IP-Adreß-Segment?). In diesem Fall würde der Server nicht zwischen einem absichtlichen DoS-Angriff und einem irrelaufenden Crawler unterscheiden - aber wäre das so schlimm?

Sehe ich genau so. Du hattest glaube ich mal in einem anderen Zusammenhang was geschrieben man könnte einen speziellen Dämon-prozess an den Apache hängen, der live die Logs analysiert, es würde ja eigentlich die IP reichen, man hält einen Hash mit Anzahl der Aufrufen jeder IP der letzten 10 Minuten im Speicher, steigt die Zahl über einen gewissen Grenzwert wird die IP gesperrt, per dynamisch generierter .htaccess. Vielleicht noch in Kombination mit User-Agent oder anderen Daten...

Hm ... ich mag Probleme, zu denen es keine einfachen Lösungen gibt. ;-)

Vielleicht gibt es sie ja doch, die Lösung :-)

Viele Grüße
Andreas

[Michael Schröpl]

Hi Andreas,

wenn ich diese beiden Links parse, erzeuge ich dann 2 Requests?
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44806
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44805

ja, natürlich. Der Crawler weiß ja, nicht daß beide URLs zu "semantisch äquivalenten" Seiten führen werden - für ihn sind es "inhaltlich verschiedene" Seiten.

Wozu soll man da unterschieden? IMHO fehlt eine Angabe bei Meta-Tags: "nofollow" oder besser "none", keine Robot soll in der Hauptdatei nach Links suchen, also warum ist das nicht entsprechend verboten?

Weil der Robot nur über die Hauptdatei die Links zu den Threads findet.

Das "nofollow" müßte also ein Attribut nicht der HTML-Datei, sondern des konkreten Links sein ... das ist in HTML aber leider nicht ausdrückbar.

Viele Grüße
      Michael

[Andreas Korthaus]

Hi Michael!

ja, natürlich. Der Crawler weiß ja, nicht daß beide URLs zu "semantisch äquivalenten" Seiten führen werden - für ihn sind es "inhaltlich verschiedene" Seiten.

Wenn dem so wäre müssten sich aber alle Crawer derart verirren, das tun sie aber augenscheinlich nicht. Was macht googlebot denn anders?

Wozu soll man da unterschieden? IMHO fehlt eine Angabe bei Meta-Tags: "nofollow" oder besser "none", keine Robot soll in der Hauptdatei nach Links suchen, also warum ist das nicht entsprechend verboten?

Weil der Robot nur über die Hauptdatei die Links zu den Threads findet.

Das "nofollow" müßte also ein Attribut nicht der HTML-Datei, sondern des konkreten Links sein ... das ist in HTML aber leider nicht ausdrückbar.

Nein. Robots haben im aktuellen Forum absolut nichts verloren, was bringt es normale Threads zu indizieren? Die gelten doch eh nur ein paar Tage. Also kann man den Zugriff doch am besten für crawler sperren, besser wäre eine robots.txt, nur geht das dann nicht mit dem Archiv.

Grüße
Andreas

[Andres Freund]

Hi,

Wenn dem so wäre müssten sich aber alle Crawer derart verirren, das tun sie aber augenscheinlich nicht. Was macht googlebot denn anders?

Ich dachte, der ignoriert den Part hinter dem Searchpart (das ?en)?

Grüße Andres Freund

[Michael Schröpl]

Hi Andres,

Ich dachte, der ignoriert den Part hinter dem Searchpart (das ?en)?

mit welcher Berechtigung?

Der Query-String gehört zum URL - ohne ihn kann die Seite ja sehr wohl unterdefiniert sein, falls kein entsprechendes Defaulting (in sinnvoller Weise) möglich ist. (Soll der Archiv-Viewer per Default den ältesten aller Threads anzeigen, wenn er ohne Parameter aufgerufen wurde?)

Viele Grüße
      Michael

[Andreas Korthaus]

Hi Michael!

Der Query-String gehört zum URL - ohne ihn kann die Seite ja sehr wohl unterdefiniert sein, falls kein entsprechendes Defaulting (in sinnvoller Weise) möglich ist. (Soll der Archiv-Viewer per Default den ältesten aller Threads anzeigen, wenn er ohne Parameter aufgerufen wurde?)

Wozu ist eigentlich der Archiv-Viewer gut? Was spricht gegen ein statisches Archiv?

Grüße
Andreas

[Andres Freund]

Hi,

mit welcher Berechtigung?

Weil er einen dynamischen Teil der Url anzeigt. So wurde es hier zumindest des öfteren bei diversen Anfragen wegen dem Indexing von Google angegeben.

Der Query-String gehört zum URL - ohne ihn kann die Seite ja sehr wohl unterdefiniert sein, falls kein entsprechendes Defaulting (in sinnvoller Weise) möglich ist. (Soll der Archiv-Viewer per Default den ältesten aller Threads anzeigen, wenn er ohne Parameter aufgerufen wurde?)

http://forum.de.selfhtml.org/archiv/2002/6/15202/
Ich sehe hier, (nur ein Beispiel, hat nichts mit dem Thema zu tun, war einfach der erste, den ich rausgefiltert hab), keinen definierten Querystring, oder?

Grüße Andres Freund

[Michael Schröpl]

Hi Andres,

Der Query-String gehört zum URL - ohne ihn kann die Seite ja sehr wohl unterdefiniert sein, falls kein entsprechendes Defaulting (in sinnvoller Weise) möglich ist. (Soll der Archiv-Viewer per Default den ältesten aller Threads anzeigen, wenn er ohne Parameter aufgerufen wurde?)
http://forum.de.selfhtml.org/archiv/2002/6/15202/
Ich sehe hier, (nur ein Beispiel, hat nichts mit dem Thema zu tun, war einfach der erste, den ich rausgefiltert hab), keinen definierten Querystring, oder?

Richtig - und widerspricht das meiner Aussage etwa? ("Kann" != "muß" ...)

Viele Grüße
      Michael

[Michael Schröpl]

Hi Andreas,

Nein. Robots haben im aktuellen Forum absolut nichts verloren, was bringt es normale Threads zu indizieren? Die gelten doch eh nur ein paar Tage. Also kann man den Zugriff doch am besten für crawler sperren, besser wäre eine robots.txt, nur geht das dann nicht mit dem Archiv.

warum soll das mit dem Archiv nicht gehen?
"/archiv/" ist ein Unterverzeichnis der Forum-Domain, disjunkt zum 'aktiven' Teil des Forums.

Falls dies noch nicht reichen sollte, um entsprechende "robots.txt"-Regeln zu definieren, müßte schlimmstenfalls das 'aktive' Forum ebenfalls in ein Unterverzeichnis ausgelagert werden; auf der Domain-Wurzel könnte man dann eine automatische Weiterleitung (HTTP-301?) dorthin einfügen, um bestehende Bookmarks weiterhin kompatibel zu bedienen.

Viele Grüße
      Michael

[Andreas Korthaus]

Hi!

PS: Wenn ich http://webalizer.teamone.de/selfhtml/ sehe, frage ich
    mich auch, warum die Leute zu faul sind, sich einfach mal ca.
    8 MB runterzuladen und nicht auf dem Server hier jeden Monat
    40 GB Traffic zu verursachen. Klar, es gibt sicher etliche,
    die die Online-Variante benutzen müssen, aber genausogut
    werden etliche im Zeitalter von DSL & Co. einfach keinen
    Bezug zu Traffic und den damit verbundenen Kosten haben.

Naja, ich muss gestehen ich nutze das auch nur online, habe mir dazu auch noch nie wirklich Gedanken gemacht, aber ich nutze SELFHTML auch nicht sooo viel, da ich nicht täglich was mit HTML mache wo ich da nachgucken muss. Aber ehrlich gesagt habe ich da auch kein so schlechtes Gewissen, denn die paar Seiten die ich da gzip-komprimiert abfrage, bis ich da mal auf die vielen MB der Download-Version komme dauert vermutlich recht lange, vielleicht sogar länger als SELFHTML 9 draußen ist ;-))
Dazu kommt dass ich sicher 90 % von SELFHTML nie nutze, und andere Seiten dafür sehr oft, und da diese Seiten dann gecached werden kommt da nur ein kleiner "not modified" header vom Server zurück und die eigentliche Seite aus meinem Cache.
Schlimmer sind die Leute die es sich runterladen und trotzdem mal hin und wieder Seiten direkt abrufen, denn die haben einmal 100% geladen, warten immer lange genug dass die online-Seiten nicht mehr gecached werden... :-)

Viele Grüße
Andreas

[Stefan Einspender]

Hallo Andreas,

[ ... abgefahrene Theorie ... ]

letztendlich kann man sich überall rausreden, man muß nur wissen wie ;-)

Stimmt schon, SELFHTML ist ja auch tausendmal im WWW verlinkt (unter
der hiesigen Adresse), nur finde ich es schade, weil es imho keinen
Grund gibt, die Doku auf diesem Server aufzurufen und damit noch zu-
sätzlich Traffic und Serverlast zu verursachen. Hier also mal ein
Link, wo *.teamone.de entlastet wird und die Adresse wird sicher
nicht abgeschaltet werden ;-)

http://www.tu-dresden.de/SELFHTML/

Viele Grüße,
Stefan

[Stefan Einspender]

http://www.tu-dresden.de/SELFHTML/

Wobei ich gerade sehe, dass dort die Errata nicht eingespielt wurde.
Ich werde mich mal mit dem Admin in Verbindung setzen.

Viele Grüße,
Stefan

[Christian Seiler]

Hallo Stefan,

Stimmt schon, SELFHTML ist ja auch tausendmal im WWW verlinkt (unter
der hiesigen Adresse), nur finde ich es schade, weil es imho keinen
Grund gibt, die Doku auf diesem Server aufzurufen und damit noch zu-
sätzlich Traffic und Serverlast zu verursachen. Hier also mal ein
Link, wo *.teamone.de entlastet wird und die Adresse wird sicher
nicht abgeschaltet werden ;-)

Man könnte ja selfhtml.teamone.de auf localhost zeigen lassen und nur die Seiten, die lokal nicht vorhanden sind, mit ProxyPass o.ä. an den richtigen[tm] Server weiterleiten... Müsste ich mal probieren, wie man das mit dem DNS korrekt hinbekommt...

Viele Grüße,
Christian

[Stefan Einspender]

Hallo Christian,

Man könnte ja selfhtml.teamone.de auf localhost zeigen lassen und nur die Seiten, die lokal nicht vorhanden sind, mit ProxyPass o.ä. an den richtigen[tm] Server weiterleiten... Müsste ich mal probieren, wie man das mit dem DNS korrekt hinbekommt...

warum sollte es lokal bestimmte Seiten auf forum.de.selfhtml.org
nicht geben? Wenn Du die selfhtml80.zip + Errata entpackst, dann
hast Du doch alle Seiten ;-)

Ansonsten klingt die Idee nicht schlecht, werde ich mal notieren
und demnächst umsetzen.

Viele Grüße,
Stefan

[Christian Seiler]

Hallo Stefan,

warum sollte es lokal bestimmte Seiten auf forum.de.selfhtml.org
nicht geben?

Du meinst selfhtml.teamone.de, und nicht forum.de.selfhtml.org, oder? ;-)

Wenn Du die selfhtml80.zip + Errata entpackst, dann
hast Du doch alle Seiten ;-)

Naja, einige CGI-Scripte, auf die verwiesen wird, nicht. Zum Beispiel könnte ich keine Fehler mehr melden.

Ansonsten klingt die Idee nicht schlecht, werde ich mal notieren
und demnächst umsetzen.

Ich habe mal etwas experimentiert. Wenn ich damit leben kann, dass ich auch die oben genannten Scripte nicht zugreifen kann, dann funktioniert es prima. Wenn ich nicht damit leben kann, dann wird es problematisch: Ein

ProxyPass /cgi-bin/ http://selfhtml.teamone.de/cgi-bin/

kann ja nicht funktionieren, da ich die DNS von selfhtml.teamone.de ja auf mich selbst umgeleitet habe, ich produziere so nur eine Endlosschleife. Ich kann aber auch nicht server.teamone.de oder 213.139.94.131 eintragen, da der Default-vhost www.teamone.de ist. Ich müßte also einen eigenen HTTP-Client schreiben, der dann eine Verbindung mit server.teamone.de aufbaut, jedoch dann als Host-Header selfhtml.teamone.de sendet. Und diesen HTTP-Client noch so anlegen, dass er mit Apache kompatibel ist. Am einfachsten wäre wohl, mod_proxy etwas umzuschreiben.

Viele Grüße,
Christian

[Stefan Einspender]

Hallo Christian,

[ ... ]

dann mache es Dir doch einfach und nimm de.selfhtml.org und schon
brauchst Du nicht viel machen. Du kannst weiter Fehler melden und
auch einfach mit Copy + Paste hier im Forum verlinken, weil es ja
http://de.selfhtml.org/ gibt :-)

Allerdings wird dann die folgende Seite nicht funktionieren:
http://de.selfhtml.org/cgiperl/intro/anzeige/comments.htm

Der Grund dafür ist, dass darin ein lokales CGI-Script genannt
wird, welches es natürlich nicht gibt.

Viele Grüße,
Stefan

[Michael Schröpl]

Hallo Christian,

Ich kann aber auch nicht server.teamone.de oder 213.139.94.131 eintragen, da der Default-vhost www.teamone.de ist.

was hältst Du davon, jedem Virtual Host der Self-Server-Apache-Konfiguration einen alternativen ServerAlias-Namen zu geben (z. B. mit der Endung "-www"), für genau diesen Zweck der alternativen DNS-Anbindung?
(Sehe ich das richtig, daß zusätzliche Subdomains kein Kostenfaktor sind, sondern lediglich einen Eintrag im DNS-Server des Providers erfordern? mod_proxy zu ändern fände ich oversized.)

Viele Grüße
      Michael

[MudGuard]

Hi,

PS: Wenn ich http://webalizer.teamone.de/selfhtml/ sehe, frage ich
    mich auch, warum die Leute zu faul sind, sich einfach mal ca.
    8 MB runterzuladen und nicht auf dem Server hier jeden Monat
    40 GB Traffic zu verursachen. Klar, es gibt sicher etliche,
    die die Online-Variante benutzen müssen, aber genausogut
    werden etliche im Zeitalter von DSL & Co. einfach keinen
    Bezug zu Traffic und den damit verbundenen Kosten haben.

Also ich hab SelfHTML auch noch aus einem ganz anderen Grund runtergeladen, nicht nur wegen des Traffics:

Lokal habe ich es immer zur Verfügung - unabhängig davon, was meine Internetverbindung, irgendwelche DNS-Server oder der Selfhtml-Server gerade machen oder eben NICHT machen...

cu,
Andreas

[Christian Seiler]

Hallo Elessar,

Und zwar würd ich gern mal rausfinden wie die Verbreitung von bestimmten schriftarten,

http://www.bjoernsworld.de/css/windows-schriften.html könnte interessant sein.

Browsern, Betriebssystemen, etc. im Internet ist.

Dazu hat Johannes ja schon etwas gesagt.

Viele Grüße,
Christian

[Thomas J.S.]

Hallo Christian,

Hallo Elessar,

Elessar ist eigentlich ein grüner Edelstein mit heilender Kraft und heisst Elbenstern, nebenbei ist das der Namen von Aragorn, der untern diesen Namen König von Gondor wird.

Grüße
Thomas

PS: ah ja ... und Herr der Ringe läßt auch grüßen

[Christian Seiler]

Hallo Thomas,

Elessar ist eigentlich ein grüner Edelstein mit heilender Kraft und heisst Elbenstern, nebenbei ist das der Namen von Aragorn, der untern diesen Namen König von Gondor wird.

Das ist mir durchaus bekannt. :-)

Viele Grüße,
Christian

[Thomas J.S.]

Hallo Christian,

Elessar ist eigentlich ein grüner Edelstein mit heilender Kraft und heisst Elbenstern, nebenbei ist das der Namen von Aragorn, der untern diesen Namen König von Gondor wird.

Das ist mir durchaus bekannt. :-)

:-)  das freut mich, es kennen nämlich nicht so viele den Namen Elessar.

Grüße
Thomas

[Johannes Zeller]

Hallo Thomas

:-)  das freut mich, es kennen nämlich nicht so viele den Namen Elessar.

Ich kenn den Namen natürlich auch. Bist du dir sicher, dass der so unbekannt ist? Das Buch "Herr der Ringe" scheint doch sehr verbreitet zu sein. :-)

Gute Nacht

Johannes

[Thomas J.S.]

Hallo Johannes,

:-)  das freut mich, es kennen nämlich nicht so viele den Namen Elessar.

Ich kenn den Namen natürlich auch. Bist du dir sicher, dass der so unbekannt ist? Das Buch "Herr der Ringe" scheint doch sehr verbreitet zu sein. :-)

Ja, vor allem nach dem Film, da sind viele die einige Namen kennen, aber das Buch nicht gelesen haben. Und auch wenn man das Buch gelesen hat, so gebräuchlich ist der Name auch im Buch nicht. ;-) (erfahrung aus meiner chatter tagen *g* + ich erinnere mich so, aber um es konkret sagen zu können müsste ich das Buch nochmal lesen *g*)

Grüße
Thomas

[Johannes Zeller]

Hallo!

:-)  das freut mich, es kennen nämlich nicht so viele den Namen Elessar.

Ich hab gerade gesehen, dass Fingolfin ([pref:t=47590&m=259653]) auch hier im Forum auftaucht. Langsam frage ich mich, ob die alle dem "Herrn der Ringe" entstiegen sind ;-)

Schöne Grüße

Johannes

[Tim Tepaße]

Hallo Johannes,

Langsam frage ich mich, ob die alle dem "Herrn der Ringe" entstiegen sind ;-)

In einem anderen Forum hatte ich mal den Nickname Cirdan. Sollte ich in
Zukunft mal wieder einen mehr oder weniger innovativen Nickname brauchen,
werde ich den konsequent aus dem Silmarillion oder noch besser aus der
History of Middle-Earth entleihen. Aus Gründen der 31331-heit. ;o)

• Tim