[Talk-de] Geofabrik-Downloads jetzt als Binaerformat

Frederik Ramm frederik at remote.org
Mi Sep 22 21:46:09 UTC 2010


Hi,

Steffen Wolf wrote:
> Ich moecht nur schnell der Aussage widersprechen, dass das PBF-Format
> generell schneller verarbeitbar ist. Zur Messung hab ich den
> Sachsen-Ausschnitt von heute genommen, einmal PBF, einmal bz2. Obiger
> Befehl brauchte 59s, mit
>  bunzip2 -k input.osm.bz2
> bekam ich nach 22s das Resultat.

Interessant. Ich hatte das stichprobenartig mit einigen groesseren 
Dateien probiert. Muesste man also nochmal detaillierter untersuchen. 
Spaetestens aber, wenn Du irgendeine Art von Weiterverarbeitung mit dem 
lesenden Programm machst, wirst Du einen Vorteil merken, weil bei PBF ja 
das XML-Parsen komplett wegfaellt.

> Da die beiden Dateien dann noch unterschiedlich gross waren, hab ich mal
> einen Diff angeworfen. Ist wahrscheinlich nur das Encoding gewesen.

Derzeit werden die auch auf unterschiedlichen Rechnern generiert, und es 
kann sein, dass sie nicht 100% identisch sind (dass ein Rechner schon 
eine Stunde aktuellere Daten hat o.ae.).

> Aber
> eins ist mir doch aufgefallen: Kann man seinen Nutzernamen wechseln? Der
> in der bz2 verzeichnete Name existiert so nicht (mehr) in Openstreetmap.

Frueher habe ich 1x pro Woche das neue Planetfile geladen, aber das mach 
ich seit einiger Zeit nicht mehr, daher halten sich u.U. aeltere 
Benutzernamen in den Dateien. Die PBF ist auf einem anderen Rechner 
basierend auf einem aktuelleren Planet errechnet.

> Naja, ich bin erstmal noch vorsichtig gegen das neue Format. Gibt es
> eigentlich aehnliche Tools wie bzgrep, bzcat und bzdiff fuer PBF? Ohne
> die wuerd ich hier eine Menge handgebastelter Scripte umstellen muessen.

Das gibt es alles nicht, sprich Du musst derzeit sowas wie "osmosis 
--read-bin file.osm.pbf --write-xml - | grep ..." machen.

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frederik at remote.org  ##  N49°00'09" E008°23'33"




Mehr Informationen über die Mailingliste Talk-de