[Talk-de] Server

[Kai Krueger]

Hi,

On 22/07/28164 20:59, Markus wrote:
> Hallo Ulf, hallo André,
>
> ich habe im Wiki folgendes gefunden:
>
> Liste unserer Server:
> http://wiki.openstreetmap.org/wiki/Servers
>
> Status-Übersicht:
> http://wiki.openstreetmap.org/wiki/Platform_Status
>
> Performance für jeden Server:
> http://munin.openstreetmap.org/openstreetmap/puff.openstreetmap-lighttpd_accesses.html

Performance graphen fuer den Tile server findet ihr unter

http://munin.openstreetmap.org/openstreetmap/yevaud.openstreetmap.html


>
>
> Liste der Server-Admins:
> http://wiki.openstreetmap.org/wiki/System_Administrators
> Da gibt es keinen deutschsprachigen?
> (vor einem Jahr war da mal ein Schweizer mit im Boot)

meinst du Sebastian Spaetz? Er ist noch immer der Admin des t at h servers. 
T at h laueft jedoch komplett getrennt von den anderen servern. Unter den 
Admins der OSM Foundation Server (Datenbank, Wiki, Mapnik) ist in der 
Tat derzeit kein deutschsparchiger admin. Das sollte aber eigentlich 
nichts ausmachen. Die meisten Admins sitzen halt in London, wo auch die 
Server gehostet werden, denn es ist immernoch erstaunlich haeufig noetig 
physischen Zugriff auf die Server zu haben. Wobei einige der letzten 
downtimes auch damit zu tun hatten um diese Situation zu verbessern.

>
>> Die "Hauptdatenbank" läuft nicht redundant, weil dies bei schreibenden
>> Zugriffen sehr schnell zu Konsistenzproblemen führen kann, die man
>> schlicht versucht zu vermeiden.
>
> Das kann ich irgendwie verstehen.
> Aber dieses Problem haben grosse Anwendungen doch immer?
> Und dafür müsste es doch Lösungen geben die wir übernehmen können?

Es ist durchaus moeglich die Datenbank Server redundant aufzubauen wobei 
trivial ist es nicht und vorallem nicht ganz billig. Der jetztige DB 
server hat alleine ueber zehntausend Pfund gekostet, was zum Glueck 
durch die grosszuegige Spendenaktion moeglich wurde. Ob es es wert ist 
soviel Geld fuer einen zweiten Server nur fuer die Paar minuten downtime 
auszugeben weis ich nicht. Zumal so weit ich weis keine der letzten 
downtimes durch eine redundante Hauptdatenbank geholfen waere. In 
zukunft wird es aber mit sicherheit irgendwann gemacht.

>
>> "Spiegelserver" (XAPI, ROMA, TRAPI) puffern die "nur lesende" Last
>> entsprechend ab.
>
> Dennoch lese ich immer mal wieder "OSM coming soon".

Das sollte wie bereits erwaehnt wurde weitest gehend der Vergangenheit 
(seit c.a. ein zwei wochen als auf den neuen Server umgestellt wurde) 
angehoeren. Es werden weit weniger als 1% der tiles nicht rechzeitig 
gerendert was zu "OSM coming soon" fuehrt. Wenn du also deutlich mehr 
siehst un diese nicht nur in zoom level 18 oder 17 auftreten, dann bitte 
melde dich noch mal und man muss schauen wo dran dass liegt.

>
> Bei uns hat beispielsweise die IHK den Firmen empfohlen, OSM zu nutzen.
> Aber nicht jede Firma kann es sich leisten, dafür einen eigenen
> XAPI-Server aufzusetzen.
>
> Wäre da nicht ein entsprechendes Netz sinnvoll, mit automatischem
> Lastausgleich? Damit nicht beispielsweise Abfragen aus verschiedenen
> Kontinenten quer über den Teich geschickt werden müssen?
>
> Gibt es irgendwo eine Anleitung, wie man einen solchen Spiegelserver
> aufbaut und wie der Lastausgleich organisiert ist?
> Ich könnte mir vorstellen, dass bestimmt einige Firmen und Institutionen
> bereit wären, da mitzumachen (beispielsweise unsere IHK, oder andere
> Wirtschaftsverbände, Kommunen oder Universitäten).
>
>> JOSM und andere Editoren arbeiten direkt auf der "Hauptdatenbank",
>> editieren auf potentiell alten Daten macht ja irgendwie auch keinen Sinn.
>
> Auch da könnte ich mir als Laie vorstellen, dass die Haupt-DB redundant
> aufgebaut sein könnte? Und dass die Editoren nicht direkt auf die
> Haupt-DB zugreifen, sondern auf eine Art "Zwischenpuffer"?

Das kommt moeglicherweise auch. Mit den Versionsnummern die in API 0.6 
eingefuert wurden und den neuen replication-minutely-diffs die derzeit 
deployed werden, koennte man sich vorstellen read-only server wie ROMA 
auch fuer Editoren zu verwenden, wenn es dann zu konflikten kommt kann 
man dann immer noch auf die Hauptdatenbank zurueck fallen. Das ganze 
benoetigt aber Zeit, Geld und Arbeit um das alles aufzubauen. Und ob die 
begrenzten resourcen nicht besser wo anders aufgehoben sind entscheiden 
die Sys admins schon ganz gut.

>
>> Nun ist die Serverlandschaft bei OSM nicht unbedingt üppig aufgebaut.
>
> Wie macht das denn Wikipedia? die haben ihre Lasten doch auch irgendwie
> verteilt? ich hatte in den letzten 2 Jahren nie ein "coming soon".

Ich denke man kann OSM (noch) nicht ganz mit Wikipedia vergleichen, denn 
Wikipedia ist doch noch meherer groessen Ordnungen groesser als OSM. Die 
haben ein Buget von mehreren millionen im Vergleich zu den zehn - 
zwanzig tausend die OSM hat. Ausserdem haben die ein ganzes team von 
vollzeit Sysadmins, waerend in OSM es alle ehrenamtlich und als neben 
beschaeftigung tun. Und selbst Wikipedia habe ich irgendwo mal gehoert 
hat immer noch single points of failure und z.B. ein Hurrikane in 
Florida kann ganz Wikipedia vom netz nehmen.

OSM hat aber inzwischen auch allmaelich die Groesse erreicht um sich 
mehr redundanz leisten zu koennen und zu muessen. Das Thema denke ich 
steigt auch im zunehmenden masse hoeher auf der liste der prioritaeten 
der Admins und sie bemuehen sich zur zeit auch aktiv darum die Redundanz 
und Ausfallsicherheit zu erhoehen.

> Wie funktioniert das, wenn Wikipedia OSM Karten verwendet?
> Was machen wir, wenn zunehmend Menschen OSM gut finden und benutzen?
>
>> Wenn die User dauernd "Reload" hämmern, hilft das übrigens nicht viel ;-)
>
> Kann man nicht irgendwie unterscheiden, ob jemand "hämmert"?
> und das dann bereits im "Zwischenpuffer" abfangen?

Nein, nicht wirklich.

>
>> P.S: Keine Ahnung wie man das verbessern kann. Ich weiß nur, das da
>> keine absoluten Laien am Werk sind.
>
> :-)
> Ok, ich hör jetzt auch wieder auf mit meinen Laienfragen...
> Aber eine "Anleitung" für Spiegelserver könnte uns vielleicht helfen?

Es kommt darauf an was und fuer wenn man spiegeln will.

Fuer die Kartenkacheln gibt es ein paar Moeglichkeiten. Wenn man es fuer 
seine eigene Applikation "spiegeln" will, kann man z.B. seinen eigenen 
render Server aufbauen. Entweder auf eigener Hardware ( 
http://wiki.openstreetmap.org/wiki/Mapnik ) oder z.B. auf Amazon EC2 ( 
www.tiledrawer.com ). Oder alternativ, kann man einen proxy server 
zwischen seine eigene Anwendung und dem OSM server haengen um die last 
abzufedern und wenn die Server mal ausfallen sollten zumindestens all 
die Kacheln weiter reichen zu koennen die man bereits gespeichert hat.

Wenn man fuer OSM selbst "spiegeln" will, koennte man das ebenfalls 
ueber proxy's machen, aber dann muss man vermutlich erts ein mal ein 
"Vertrag" mit der OSM foundation machen die diesen zugriff regelt. Denn 
wenn die zwischen server nicht zuverlaessig arbeiten und unter der 
Kontrolle der derzeitigen Sysadmins ist, kann OSM auch kein hoeheren 
level of service anbieten. Das wird aber zurzeit auch versucht zu 
erreichen. Ich habe jedoch keine Information darueber wie weit oder was 
genau dort bereits geplannt wird.



Kai

>
> Gruss, Markus
>
>