[Talk-de] Hosting für OSMdoc gesucht

Lars Francke lars.francke at gmail.com
So Feb 14 21:32:24 UTC 2010


Hallo,

wie einige vielleicht wissen habe ich die letzten Monate ordentlich an
osmdoc.com rumgewerkelt und einiges neues entwickelt. Ich komme jetzt
in die Phase wo ich mal Alpha/Beta-Versionen ins Netz stellen würde
(ich warte hauptsächlich noch darauf, dass es endlich einen
korrigierten History-Export gibt).

Ich habe allerdings ein großes Problem: Hosting fehlt. Der bisherige
Host (Webfaction) reicht für die aktuelle Funktionalität aus aber viel
mehr ist nicht drin.

Was brauche ich:
----------------
Minimalversion: Einen Server mit 50GB+ Festplattenspeicher und 1GB+
RAM (Solr + Webserver)

Kurzversion: Ich suche einen/mehrere Server zum hosten von OSMdoc. Vor
allem RAM und Festplattenspeicher kann ich benutzen/gebrauchen. RAM >
4GB wäre gut, Festplattenplatz kann ich auch bis zu 500+ GB brauchen
(Solr, HBase, Webserver). Je mehr von allem desto besser, je weniger
desto weniger Funktionalität kann ich bieten.

Langversion: Die bisherige OSMdoc Version nutzt nur einen Planetdump
und lädt das ganze recht naiv in eine PostgreSQL Datenbank (insgesamt
ca. 15GB). Das Frontend ist in Python mit Django geschrieben. Das ist
zwar gut und die Seite ist so auch schon sinnvoll aber ich habe eine
ganze Menge Featurerequests* bekommen und einiges davon auch
umgesetzt. So läuft das ganze nun mit der kompletten OSM History und
beachtet das auch bei der Auswertung von Tags (wieviele User benutzen
ein Tag, ...). Die Suche benutzt nun Solr[1] und ich lade das ganze in
eine HBase Datenbank[2]. Beides sind im Endeffekt Dienste denen man
beliebig viele Ressourcen geben kann.

Daher kann ich nicht ganz genau sagen was ich brauche: Ich nehme was
ich kriegen kann :)
Wenn ich die komplette DB mit allem was dazugehört auf den/die Server
bekomme sind es am Ende sicher 500-1000GB. Wenn das klappt könnte ich
minütliche Updates für die Daten geben und einen Mirror für die API
anbieten (ähnlich wie XAPI, praktisch als Nebenprodukt), wenn nicht
lasse ich das weiter bei mir zu Hause laufen und mache unregelmäßige
Datenupdates auf dem Server.

Je kleiner der Server wird desto mehr Features schalte ich ab bzw.
veröffentliche sie nicht. Und wenn ich gar nichts passendes finde lade
ich das ganze wie bisher in die alte OSMdoc Version dann gäbe es
einfach nur neue Daten aber keine neuen Funktionen. Auch schon gut
aber dies ist der Versuch ob vielleicht ein paar edle Spender
mitlesen.

Traffic bekommt die Seite nicht all zu viel (50 - 100 Besucher am Tag)
aber ich würde damit rechnen, dass das mehr wird mit einer neuen und
regelmäßig aktualisierten Version. Aber ich glaube das ist das
geringste Problem.

Was kann ich bieten:
--------------------
Leider nicht viel? Ich kann pro Monat einen kleinen Betrag zahlen aber
das dürfte sich nur im Rahmen üblicher Shared-Hosting-Preise befinden.
Ich weiß, dass ich dafür nicht das bekomme was ich suche daher hier
die Frage. Ich bin in irgendeiner Weise auf Hilfe oder Sponsoring
angewiesen wenn ich die neue Version online schalten will. Ich schalte
natürlich gerne Links auf den/die großzügigen Spender.

Ansonsten kann ich nur Zugriff auf die ganzen Daten bieten in der
Hoffnung, dass sie für irgendwen sinnvoll sind. Da das ganze in HBase
liegt ist es z.B. auch einfach per MapReduce[3] (oder auch Pig[4],
Hive[5]) drauf zuzugreifen und Anfragen zu starten.
Ich habe auch kein Problem damit (ich plane es eigentlich eh zu tun)
den dazugehörigen Quellcode zu öffnen.

Wann:
-----
Ich bin geduldig :)
Ich brauche sicher noch ca. einen Monat um etwas zu haben was ich
veröffentlichen kann aber für Tests, das einlesen der Daten und
Alpha-Versionen kann ich auf jeden Fall ab sofort etwas gebrauchen.

Sonstiges:
----------
Bei Fragen hierzu einfach antworten oder mir privat schreiben. Ich bin
natürlich auch immer daran interessiert was sich von einer neuen
Version von OSMdoc gewünscht wird. Ich habe auch in unregelmäßigen
Abständen im OSMdoc-Blog[6] berichtet.

Also falls sich irgendein freundlicher Sponsor findet oder irgendeine
Firma das verlangen hat ein paar Server loszuwerden freue ich mich
über jeden Kontakt.

Gruß,
Lars

[1] http://lucene.apache.org/solr/
[2] http://hadoop.apache.org/hbase/
[3] http://hadoop.apache.org/mapreduce/
[4] http://hadoop.apache.org/pig/
[5] http://hadoop.apache.org/hive/
[6] http://osmdoc.blogspot.com/


* Einige der Featurerequests in keiner speziellen Reihenfolge:

- Sprachanalyse für Tags/Verknüpfen von gleichen Tags in
unterschiedlichen Sprachen
- Wie häufig wurde ein Tag hinzugefügt/verändert/gelöscht und von
wievielen verschiedenen Nutzern (Beliebtheitswert für Tag -> Mehr
Aussagekraft als momentane Nutzungszahlen)
- Häufigere Datenaktualisierung
- Tippfehler auf korrekte Tags verlinken
- Auswertung von Tags mit mehreren Werten (mit Semikolon getrennt)
- Auswertung von Relationsrollen
- Auswertung von Tagkombinationen (wie häufig wird X mit Y zusammen
verwendet) inkl. Rollen
- Welche Tags verwendet ein User
- Wo wird ein Tag verwendet (geografisch)
- Moeglichkeit die Elemente auf denen ein Tag momentan benutzt wird
direkt runterzuladen (XAPI ähnlich)
- Bessere Suchfunktion: Suche in Werten und zwar Schlüsselübergreifend
...




Mehr Informationen über die Mailingliste Talk-de