[Talk-de] Geofabrik-Downloads jetzt als Binaerformat

Steffen Wolf stw at gmx.de
Mi Sep 22 21:29:06 UTC 2010


Hi Frederik Ramm,

> ich weiss, dass es ein paar Leute gibt, die jeden Tag gar nicht 
> schnell genug die neuen Extrakte von download.geofabrik.de laden 
> koennen. Ab heute gibt es alle Extrakte auch im neuen, Google Protocol 
> Buffers-basierten Binaerformat. Dieses Format ist rund 30% kleiner als 
> die bisherigen .osm.bz2-Dateien und laesst sich vor allem viel schneller 
> verarbeiten.

> Details im Geofabrik-Blog: http://blog.geofabrik.de/?p=58

Dort unter anderem: Osmosis 0.37 wird benoetigt, Aufruf etwa
 osmosis --read-bin input.osm.pbf --write-xml output.osm


Ich moecht nur schnell der Aussage widersprechen, dass das PBF-Format
generell schneller verarbeitbar ist. Zur Messung hab ich den
Sachsen-Ausschnitt von heute genommen, einmal PBF, einmal bz2. Obiger
Befehl brauchte 59s, mit
 bunzip2 -k input.osm.bz2
bekam ich nach 22s das Resultat.

Da die beiden Dateien dann noch unterschiedlich gross waren, hab ich mal
einen Diff angeworfen. Ist wahrscheinlich nur das Encoding gewesen. Aber
eins ist mir doch aufgefallen: Kann man seinen Nutzernamen wechseln? Der
in der bz2 verzeichnete Name existiert so nicht (mehr) in Openstreetmap.
Die gleichen Daten mit selber Version hatten in der PBF einen
existierenden Nutzer verzeichnet, der auf seiner Nutzerseite auch
Hinweise auf den alten Namen stehen hat.


Naja, ich bin erstmal noch vorsichtig gegen das neue Format. Gibt es
eigentlich aehnliche Tools wie bzgrep, bzcat und bzdiff fuer PBF? Ohne
die wuerd ich hier eine Menge handgebastelter Scripte umstellen muessen.

stw
-- 
Großbritannien hat seinen Anker gelichtet und bewegt sich in westlicher
Richtung über den Atlantik. Experten gehen davon aus, das die Insel vor New
York vor Anker gehen wird. Bei spontanen Massenkundgebungen in London wurde
ein Kurswechsel Richtung Karibik gefordert.  [Juergen Nieveler in dan]




Mehr Informationen über die Mailingliste Talk-de