nicht angemeldet
Hi,
interessant finde ich das auf jeden Fall, ist nur die Frage ob man auf sowas die ganze hier verwendete Software lazufen lassen kann. Und vor allem ist das glauieb ich nicht ganz so trivial aufzusetzen wie ein einfacher Server, oder?
Mittlerweile schon, es hat sich da viel getan.
Hm ich finde eigentlich fast nur Artikel anno 1999 und sowas, naja, und selbst das was da steht hört sich gut an.
Könntest mal nach MOSIX googeln. Wäre zwar nicht unbedingt die Software meiner Wahl, aber MOSIX ist sehr gut dokumentiert, würde Dir wahrscheinlich weiterhelfen.
Ich würde ja gerne einen neuen Athlon64 oder Opteron nehmen, nicht DUAL, denn da bekommt man schon Board S-ATA und gbit-LAN und Prozessor für unter 500 EUR... aber das lohnt sich ja nicht wirklich,
Man sollte selbst bei reduzierten Verfügbarkeitsanforderungen keine "Bleeding Edge" nehmen, lieber altbewährtes bei denen alle Bugs schon bekannt sind. Laß andere ausprobieren, die das Geld und die Zeit dafür haben ;-)
wenn schon dann richtig billig(außerdem braucht man da registered RAM, das finde ich wirklich bescheuert, denn wenn man nur max. 2 GB RAM einsetzt bringt registered AFAIK gar nichts). Und Außerdem ist da die schlechte Erfahrung mit AMD, wobei das mit der thermischen Belastung heute nicht mehr ganz so vergleichbar ist, die neuren(nicht die 64bit) AMDs produzieren weniger Abwärme als Pentiums und die Kühler sind erheblich besser.
Abwärmeprobleme sind sehr weitreichend, da reicht es nicht, einen ausreichend dimensionierten Prozessorkühler zu haben, dei Wärme muß auch irgendwann einmal an die frische Luft, gleichzeitig darf kein Staub reinkommen.
Das Problem ist nur - was macht man mit dem Eingangsrechner, also der der das ganze verwaltet? Denn wenn der ausfällt ist Ende!
Das ist ein normaler Cluster, da gibt es keinen Eingangs- oder Ausgangsrechner. Aber problematisch ist natürlich die Peripherie. Wenn die Anbindung über einen Switch erfolgt, ist dieser selbstverständlich ein Schwachpunkt.
Hä? Wie soll das denn funktionieren? Alle Requsts müssen doch über eine Maschine laufen, also die IP die bei teamone.de aufgelösen wird. Oder dachtest Du daran mehrere öffentliche IPs zu verwenden und dann entsprechend sellforum, selfhtml... auf verschiedene Maschinen zu legen? Aber dann hast Du ja keine Redundanz. IMHO braucht man einen Loadbalancer oder einen Reverse-Proxy oder sowas, der entsprechend die aAnfragen verteilt. Soll denn jeder Rechner alles können, oder hat jeder bestimmte aufgaben?
Achso, ja gut, einen Loadbalancer/Router o.ä. braucht es schon, das ist wahr. Fällt bei mir aber unter Peripherie, braucht außerdem keine beweglichen Teile ist also haltbar. Aber mehrere IPs unter ein und derselben Adresse ist durchaus gängig, da müßte nichts verteilt werden.
Und: ja, in einem Cluster sollte jeder Rechner alles können, das würde die Administration sehr vereinfachen. Oder es funktioniert wirklich mit Einzelboxen pro Anwendung, wie von mir beschrieben. Diese Einzelboxen können dann übigens selber wieder Cluster sein ;-)
Ich hatte eigentlich gedacht, dass alle Request über einen(qualitativ hochwertigeren) Rechner kommen, der die anderen Rechner vewaltet, und dann nur die Prozesse auf die Rechner verteilt, je nach deren Auslastung. Sowas in der Art, aber sowas finde ich nicht ;-)
Sowas braucht es nicht mehr (Kann aber in bestimmten Anwendungsfällen immer noch sinnvoll sein), es werden nur Anfragen verteilt, dei Aufteilung der Arbeit übernimmt der Cluster selber.
Ich finde immer nur Informationen wie man dann Software entwickelt, die sich auf mehrere Rechner verteilen lässt, aber gerade das will ich ja nicht, ich will eine Software die das für alle Prozesse übernimmt. Gibts sowas nicht?
Diese Frage verstehe ich nicht. Wenn Du einen Prozess auf viele Rechner verteilen kannst, warum solltest Du nicht viele Prozesse auf viele Rechner verteilen können? Wo liegt da der Hinderungsgrund?
Problem hierbei ist natürlich, das es deutlich mehr Platz braucht und mehr Strom verbraucht, und zusätzlich noch mehr Wartungsaufwand erfordert, das heißt dass öfter mal ein Techniker was austauschen muss.
Mehr Wartungsaufwand eher nicht.
Und was ist mit Administartionsaufwand?
Da alle Maschinen gleich sind (Hard- wie Software) ist der Adminsitrationsaufwand genauso hoch, wie auf einer einzelnen Maschine. (Praktisch natürlich ein klein wenig höher, aber wirklich nur ein klein wenig)
Mehr Strom? Ja, das ist leider wahr. Wenn man aber ein wenig sparsam ist, sollte der Cluster mit 10 Maschinen mit rund einem kW auskommen.
Zur Not nimmt man halt VIA-CPUs, die verbrauchen nur gut 10 Watt im Schnitt ;-)
Das haut's auch nicht mehr raus, der Stromfresser gibt es mittlerweile viele in einem Rechner ;-\
»»[...] Mit allem Drum und Dran und Steuern wären das rund 3.000 EUR/Jahr. Dafür sollte sich ein Sponsor finden lassen.
Aber was ist mit den Rechnern die nach 2 Jahren kaputt gehen?
Nichts hält ewig. Bei einer durchschnittlichen Haltbarkeit von 2 Jahren sollte der Cluster etwas über drei Jahre funktionieren. Bis dahin wird doch wohl ein neuer Sponsor gefunden sein, oder? ;-)
Wahrscheinlich braucht man dann alle 3 Jahre alle Rechner neu, dsas heißt pro Jahr kommen nochmal 1/3 der Anschaffungskosten dazu.
Etwas weniger, aber so ungefähr kommt's hin, ja.
Nur, bist Du Dir bei den 250 EUR so sicher?
Ja, neulich noch eine Anzeige gesehen für 269 EUR (Bei 10 Stück Abnahme sollte man die auf 250 EUR runterhandeln können ;-)
1 HE, 2 GHz, 256 MiB RAM, 30 GiB Platte (IDE), 100 Mbit Netzkarte.
Doch, das dürfte nun wirklich kein Problem sein. Alle Software auf dem Selfserver läßt sich ohne weiteres verteilen.
Ja? Was ist z.B. mit dem Apachen, wie genau würde das verteilt?
Thread- bzw prozessweise (Je nach Apache)
Haben dann alle Maschinen die selben Daten auf der Platte?
Ja. Wäre zumindest die billigste Lösung.
Anders geht es ja nicht, wenn bei jedem Request von irgend ner anderen Platte über das Netzwerk was geholt werden müsste, das wäre vor allem bei der Suche tötlich. Dann müssen die Daten beim schreiben aber auch überall aktualisiert werden, wer oder was übernimmt das?
Die Clustersoftware.
[...] aber ich verstehe nicht wie genau das bei einem Cluster funktionieren soll, so dass die Daten auf allen Machinen im RAM liegen. Ich weiß dass man das lösen kann, aber nur wenn man Sachen umprogrammiert und entsprechende Bibliotheken verwendet, aber ich hatte Dich jetzt so verstanden das sowas nicht nötig ist.
Mittlerweile ist keine Arbeit an den Programmen selber mehr nötig (Wenn doch, ist das Programm nicht geeignet für den verteilten Betrieb), das läßt sich ohne Umschreiben einlinken.
Nein, so ein "virtuelles OS" ist nicht nötig, das ist seit Beowulf doch schon ziemlich gereift ;-)
Ja, aber trotzdem kann man das doch nur nutzen, wenn die Software über TCP/UDP, MPI, PVM oder SysV IPC komuniziert. Das Problem ist ja auch, dass man hier Threads nicht verteilen kann(geht nicht ist glaube ich falsch, aber...). So eine Architektur wie der Apache 1.3 hat ist denke ich für sowas sehr gut geeignet, weil es eben einen Prozess gibt der sich um die anderen kümmert, also die übrigen Prozesse startet und beendet und mit Daten versorgt. Ich frage mich nur wie man dem beibringen will Prozesse auf anderen Rechnern zu starten ohne in den Quellcode einzugreifen.
Es ist egal, ob man Prozesse oder Threads verteilt, da ist nichts leichter oder schwerer, nur die Frage, was das OS besser unterstützt.
Man muß nicht in den Quellcode eingreifen, da die Prozesse(Threads) selber nicht vom Programm gestartet werden, sondern vom OS, oder von Bibiotheken. Änderungen an beiden erfordern keinerlei Änderung am Programm selber.
Mal ein Zitat von http://www.xtreme-machines.com/x-cluster-qs.html:
"UNLESS AN APPLICATION WAS SPECIFICALLY WRITTEN FOR A CLUSTER ENVIRONMENT IT WILL
ONLY WORK ON ONE CPU. YOU CAN NOT TAKE APACHE OR MYSQL AND RUN THEM OVER
MULTIPLE CPUS IN A CLUSTER UNLESS SPECIFIC PARALLEL SOURCE CODE VERSIONS
HAVE BEEN CREATED."
Bisken älter das Zitat, was? ;-)
Naja, noch glaube ich es wäre einfacher dedizierte Maschinen für die Dienste zu verwenden, vielleicht mit load-balancing, failover..., nur kommt man so nicht an die Performance und schafft "nur" Verfügbarkeit, dann sollte man aber lieber weniger dafür bessere Rechner einsetzen. Ein Cluster ist aber interessanter ;-)
Ich befürchte, das es um die simple Frage geht: was ist am billigsten für unsere Zwecke.
so short
Christoph Zurnieden