[Talk-de] Server
Kai Krueger
kakrueger at gmail.com
Mi Sep 23 09:50:55 UTC 2009
Hi,
On 22/07/28164 20:59, Markus wrote:
> Hallo Ulf, hallo André,
>
> ich habe im Wiki folgendes gefunden:
>
> Liste unserer Server:
> http://wiki.openstreetmap.org/wiki/Servers
>
> Status-Übersicht:
> http://wiki.openstreetmap.org/wiki/Platform_Status
>
> Performance für jeden Server:
> http://munin.openstreetmap.org/openstreetmap/puff.openstreetmap-lighttpd_accesses.html
Performance graphen fuer den Tile server findet ihr unter
http://munin.openstreetmap.org/openstreetmap/yevaud.openstreetmap.html
>
>
> Liste der Server-Admins:
> http://wiki.openstreetmap.org/wiki/System_Administrators
> Da gibt es keinen deutschsprachigen?
> (vor einem Jahr war da mal ein Schweizer mit im Boot)
meinst du Sebastian Spaetz? Er ist noch immer der Admin des t at h servers.
T at h laueft jedoch komplett getrennt von den anderen servern. Unter den
Admins der OSM Foundation Server (Datenbank, Wiki, Mapnik) ist in der
Tat derzeit kein deutschsparchiger admin. Das sollte aber eigentlich
nichts ausmachen. Die meisten Admins sitzen halt in London, wo auch die
Server gehostet werden, denn es ist immernoch erstaunlich haeufig noetig
physischen Zugriff auf die Server zu haben. Wobei einige der letzten
downtimes auch damit zu tun hatten um diese Situation zu verbessern.
>
>> Die "Hauptdatenbank" läuft nicht redundant, weil dies bei schreibenden
>> Zugriffen sehr schnell zu Konsistenzproblemen führen kann, die man
>> schlicht versucht zu vermeiden.
>
> Das kann ich irgendwie verstehen.
> Aber dieses Problem haben grosse Anwendungen doch immer?
> Und dafür müsste es doch Lösungen geben die wir übernehmen können?
Es ist durchaus moeglich die Datenbank Server redundant aufzubauen wobei
trivial ist es nicht und vorallem nicht ganz billig. Der jetztige DB
server hat alleine ueber zehntausend Pfund gekostet, was zum Glueck
durch die grosszuegige Spendenaktion moeglich wurde. Ob es es wert ist
soviel Geld fuer einen zweiten Server nur fuer die Paar minuten downtime
auszugeben weis ich nicht. Zumal so weit ich weis keine der letzten
downtimes durch eine redundante Hauptdatenbank geholfen waere. In
zukunft wird es aber mit sicherheit irgendwann gemacht.
>
>> "Spiegelserver" (XAPI, ROMA, TRAPI) puffern die "nur lesende" Last
>> entsprechend ab.
>
> Dennoch lese ich immer mal wieder "OSM coming soon".
Das sollte wie bereits erwaehnt wurde weitest gehend der Vergangenheit
(seit c.a. ein zwei wochen als auf den neuen Server umgestellt wurde)
angehoeren. Es werden weit weniger als 1% der tiles nicht rechzeitig
gerendert was zu "OSM coming soon" fuehrt. Wenn du also deutlich mehr
siehst un diese nicht nur in zoom level 18 oder 17 auftreten, dann bitte
melde dich noch mal und man muss schauen wo dran dass liegt.
>
> Bei uns hat beispielsweise die IHK den Firmen empfohlen, OSM zu nutzen.
> Aber nicht jede Firma kann es sich leisten, dafür einen eigenen
> XAPI-Server aufzusetzen.
>
> Wäre da nicht ein entsprechendes Netz sinnvoll, mit automatischem
> Lastausgleich? Damit nicht beispielsweise Abfragen aus verschiedenen
> Kontinenten quer über den Teich geschickt werden müssen?
>
> Gibt es irgendwo eine Anleitung, wie man einen solchen Spiegelserver
> aufbaut und wie der Lastausgleich organisiert ist?
> Ich könnte mir vorstellen, dass bestimmt einige Firmen und Institutionen
> bereit wären, da mitzumachen (beispielsweise unsere IHK, oder andere
> Wirtschaftsverbände, Kommunen oder Universitäten).
>
>> JOSM und andere Editoren arbeiten direkt auf der "Hauptdatenbank",
>> editieren auf potentiell alten Daten macht ja irgendwie auch keinen Sinn.
>
> Auch da könnte ich mir als Laie vorstellen, dass die Haupt-DB redundant
> aufgebaut sein könnte? Und dass die Editoren nicht direkt auf die
> Haupt-DB zugreifen, sondern auf eine Art "Zwischenpuffer"?
Das kommt moeglicherweise auch. Mit den Versionsnummern die in API 0.6
eingefuert wurden und den neuen replication-minutely-diffs die derzeit
deployed werden, koennte man sich vorstellen read-only server wie ROMA
auch fuer Editoren zu verwenden, wenn es dann zu konflikten kommt kann
man dann immer noch auf die Hauptdatenbank zurueck fallen. Das ganze
benoetigt aber Zeit, Geld und Arbeit um das alles aufzubauen. Und ob die
begrenzten resourcen nicht besser wo anders aufgehoben sind entscheiden
die Sys admins schon ganz gut.
>
>> Nun ist die Serverlandschaft bei OSM nicht unbedingt üppig aufgebaut.
>
> Wie macht das denn Wikipedia? die haben ihre Lasten doch auch irgendwie
> verteilt? ich hatte in den letzten 2 Jahren nie ein "coming soon".
Ich denke man kann OSM (noch) nicht ganz mit Wikipedia vergleichen, denn
Wikipedia ist doch noch meherer groessen Ordnungen groesser als OSM. Die
haben ein Buget von mehreren millionen im Vergleich zu den zehn -
zwanzig tausend die OSM hat. Ausserdem haben die ein ganzes team von
vollzeit Sysadmins, waerend in OSM es alle ehrenamtlich und als neben
beschaeftigung tun. Und selbst Wikipedia habe ich irgendwo mal gehoert
hat immer noch single points of failure und z.B. ein Hurrikane in
Florida kann ganz Wikipedia vom netz nehmen.
OSM hat aber inzwischen auch allmaelich die Groesse erreicht um sich
mehr redundanz leisten zu koennen und zu muessen. Das Thema denke ich
steigt auch im zunehmenden masse hoeher auf der liste der prioritaeten
der Admins und sie bemuehen sich zur zeit auch aktiv darum die Redundanz
und Ausfallsicherheit zu erhoehen.
> Wie funktioniert das, wenn Wikipedia OSM Karten verwendet?
> Was machen wir, wenn zunehmend Menschen OSM gut finden und benutzen?
>
>> Wenn die User dauernd "Reload" hämmern, hilft das übrigens nicht viel ;-)
>
> Kann man nicht irgendwie unterscheiden, ob jemand "hämmert"?
> und das dann bereits im "Zwischenpuffer" abfangen?
Nein, nicht wirklich.
>
>> P.S: Keine Ahnung wie man das verbessern kann. Ich weiß nur, das da
>> keine absoluten Laien am Werk sind.
>
> :-)
> Ok, ich hör jetzt auch wieder auf mit meinen Laienfragen...
> Aber eine "Anleitung" für Spiegelserver könnte uns vielleicht helfen?
Es kommt darauf an was und fuer wenn man spiegeln will.
Fuer die Kartenkacheln gibt es ein paar Moeglichkeiten. Wenn man es fuer
seine eigene Applikation "spiegeln" will, kann man z.B. seinen eigenen
render Server aufbauen. Entweder auf eigener Hardware (
http://wiki.openstreetmap.org/wiki/Mapnik ) oder z.B. auf Amazon EC2 (
www.tiledrawer.com ). Oder alternativ, kann man einen proxy server
zwischen seine eigene Anwendung und dem OSM server haengen um die last
abzufedern und wenn die Server mal ausfallen sollten zumindestens all
die Kacheln weiter reichen zu koennen die man bereits gespeichert hat.
Wenn man fuer OSM selbst "spiegeln" will, koennte man das ebenfalls
ueber proxy's machen, aber dann muss man vermutlich erts ein mal ein
"Vertrag" mit der OSM foundation machen die diesen zugriff regelt. Denn
wenn die zwischen server nicht zuverlaessig arbeiten und unter der
Kontrolle der derzeitigen Sysadmins ist, kann OSM auch kein hoeheren
level of service anbieten. Das wird aber zurzeit auch versucht zu
erreichen. Ich habe jedoch keine Information darueber wie weit oder was
genau dort bereits geplannt wird.
Kai
>
> Gruss, Markus
>
>
Mehr Informationen über die Mailingliste Talk-de