nicht angemeldet
Hi!
Könntest mal nach MOSIX googeln. Wäre zwar nicht unbedingt die Software meiner Wahl, aber MOSIX ist sehr gut dokumentiert, würde Dir wahrscheinlich weiterhelfen.
Oh ja, _sehr_ interessant. Hat nur ein paar Haken, damit läuft kein verteilter Apache, kein PostgreSQL, keine pthreads, und die aktuelle Version läuft nur unter Linux.
Aber war sehr interessant!
Achso, ja gut, einen Loadbalancer/Router o.ä. braucht es schon, das ist wahr. Fällt bei mir aber unter Peripherie, braucht außerdem keine beweglichen Teile ist also haltbar. Aber mehrere IPs unter ein und derselben Adresse ist durchaus gängig, da müßte nichts verteilt werden.
Ja, die Frage die ich mir gestellt habe ist ob das dann auch öffentliche IPs sind die dann durchgeroutet sind, oder ob die Maschinen private IPs bekommen, vermutlich letzteres.
Und: ja, in einem Cluster sollte jeder Rechner alles können, das würde die Administration sehr vereinfachen.
Aber dazu muss die Cluster-Software in der Lage sein auch Prozesse die Shared Memory(z.B. Apache) verwenden zu verteilen, das kann Mosix AFAIK nicht. Hast Du eigentlich praktische Erfahrung mit Clustern? Läuft sowas auch wirklich stabil? Wenn ich mir so überlege wie komplex das ganze ist...
Ich hatte eigentlich gedacht, dass alle Request über einen(qualitativ hochwertigeren) Rechner kommen, der die anderen Rechner vewaltet, und dann nur die Prozesse auf die Rechner verteilt, je nach deren Auslastung. Sowas in der Art, aber sowas finde ich nicht ;-)
Sowas braucht es nicht mehr (Kann aber in bestimmten Anwendungsfällen immer noch sinnvoll sein), es werden nur Anfragen verteilt, die Aufteilung der Arbeit übernimmt der Cluster selber.
Optimal wäre es natürlich wenn ein Loadbalancer die Requests direkt schön verteilt.
Ich finde immer nur Informationen wie man dann Software entwickelt, die sich auf mehrere Rechner verteilen lässt, aber gerade das will ich ja nicht, ich will eine Software die das für alle Prozesse übernimmt. Gibts sowas nicht?
Diese Frage verstehe ich nicht. Wenn Du einen Prozess auf viele Rechner verteilen kannst, warum solltest Du nicht viele Prozesse auf viele Rechner verteilen können? Wo liegt da der Hinderungsgrund?
Das hat sich inzwischen geklärt, nur eben für Apache & Co. nicht. Und das fände ich schon wichtig, da der afaik ja die ganzen Client-Prozesse über CGI startet, und das ist dann schon besser wenn das auch verteilt würde.
Ich habe noch eine Frage, angenommen wir starten nur einen Server-Prozess für den Forumsserver, können die Client-Prozesse von den verschiedenen Clusterrechnern dann auch per Unix-Socket Domain drauf zugreifen? Eigentlich ja nicht, oder? Aber auch wenn schon, das würde dann ja eh über TCP weitergeleitet, also kann man sich den Overhead auch sparen und in der Forums-Anwendung die Kommunikation direkt auf TCP umstellen, wenn ich CK richtig verstanden habe ist das jedenfalls möglich ;-)
Ja? Was ist z.B. mit dem Apachen, wie genau würde das verteilt?
Thread- bzw prozessweise (Je nach Apache)
Zumindest bei mosix habe ich gelesen dass das eben nicht geht. Das ginge wenn der Apache alleine mit Threads arbeiten würde, aber das macht er in keiner Varante, das worker MPM ist im Prinzip dasselbe wie prefork, nur dass die Kinderprozesse eine feste Anzahl von Threads starten die die Requests bearbeiten. Das hat eigentlich nur den Vorteil das der Server bei ein klein wenig höherer Leistung weniger RAM verbraucht als mit prefork, soll dagegen aber nicht ganz so stabil sein.
Haben dann alle Maschinen die selben Daten auf der Platte?
Ja. Wäre zumindest die billigste Lösung.
Dann muss man aber bei jedem Schreibvorgang auf alle Platten gleichzeitig schreiben, und dazu noch alles über das Ethernet übertreagen, und zumindest Fast Ethernet ist noch deutlich langsamer als normaler Platten.
Es ist egal, ob man Prozesse oder Threads verteilt, da ist nichts leichter oder schwerer, nur die Frage, was das OS besser unterstützt.
Man muß nicht in den Quellcode eingreifen, da die Prozesse(Threads) selber nicht vom Programm gestartet werden, sondern vom OS, oder von Bibiotheken. Änderungen an beiden erfordern keinerlei Änderung am Programm selber.
Aber zumimndest bei mosix ist es wohl doch ein Problem mit dem RAM, bei normalen Prozessen und Threads ist das anscheinend kein Problem mehr, bei shared memory und pthreads wohl doch, und leider benutzen das viele gute Programme. Ich habe da irgendwo gelesen das das alles erst funktioniert wenn man auch verteiltes shared memory hinbekommt. Aber das ist noch nicht so weit. Kennst Du denn Alternativen die das können? Und wenn das dann sowas noch unter FreeBSD laufen würde wäre das natürlich prima ;-)
Mal ein Zitat von http://www.xtreme-machines.com/x-cluster-qs.html:
"UNLESS AN APPLICATION WAS SPECIFICALLY WRITTEN FOR A CLUSTER ENVIRONMENT IT WILL
ONLY WORK ON ONE CPU. YOU CAN NOT TAKE APACHE OR MYSQL AND RUN THEM OVER
MULTIPLE CPUS IN A CLUSTER UNLESS SPECIFIC PARALLEL SOURCE CODE VERSIONS
HAVE BEEN CREATED."Bisken älter das Zitat, was? ;-)
Wie gesagt, 99 ;-)
Aber das ist von 2003: http://howto.ipng.be/openMosixWiki/index.php/don't
Das steht eigentlich so alles wo es sinnvoll wäre, Anwendungen die pthreads und solche die shared memory nutzen, Apache und PostgreSQL. Aber Du sagstest ja Du würdest mosix eh nicht einsetzen - was dann?
Naja, noch glaube ich es wäre einfacher dedizierte Maschinen für die Dienste zu verwenden, vielleicht mit load-balancing, failover..., nur kommt man so nicht an die Performance und schafft "nur" Verfügbarkeit, dann sollte man aber lieber weniger dafür bessere Rechner einsetzen. Ein Cluster ist aber interessanter ;-)
Ich befürchte, das es um die simple Frage geht: was ist am billigsten für unsere Zwecke.
Ja, da hast Du Recht, auch wenn das vermutlich am Ende dann nicht in Frage kommt, ich finde das Thema trotzdem höchst interessant ;-)
Auf jeden Fall vielen Dank schonmal für die interessanten Erläuterungen!
Viele Grüße
Andreas
PS: "mosix" ist ein ein ziemlich dämliche Name ;-)