[Talk-de] planet files etc auspacken - probelm

Peter Körner osm-lists at mazdermind.de
Fr Aug 28 10:06:03 UTC 2009


Gary68 schrieb:
> :-) naja, tage dauert es nicht. und das planet will ich auch nicht
> wirklich auspacken, aber doch mit einer perl lib lesen. und eben das
> geht nicht.
Du kannst doch bestimmt mit Perl von STDIN lesen und mit bzcat dorthin 
pipen.

> und das auspacken kann geschwindigkeitsvorteile bringen, wenn ich die
> datei mehrfach verwende. plattenplatz vorausgesetzt.
Richtig, nur darfst du die Zeit nicht vergessen, die du zum entpacken & 
auf die Platte brauchst. Wenn du die Datei mehrfach brauchst könnte man 
mit ner named pipe zwei Programme damit speisen.

Man kann übrigens sogar den Download noch mit inlinen:

wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 |
   bzcat | less

Peter


> tnx
> 
> gerhard
> gary68
> 
> 
> On Thu, 2009-08-27 at 17:51 +0200, Peter Körner wrote:
>>> habe ubuntu im einsatz, einmal mit rechtsklick "extract here" probiert,
>>> einmal mit bunzip2...
>> Bei so ner riesigen Datei? 150 GB XML? Das kann dich Tage kosten...
>> Was willst du denn mit dem Dump machen? Ich würde den Dump mit bzcat in 
>> eine Pipe schreiben und von (d)einem Tool auf STDIN auslesen lassen:
>>
>> bzcat planet-latest.osm.bz2 | some-tool > output.txt
>>
>> Zum Testen beispielsweise:
>>
>> bzcat planet-latest.osm.bz2 | less
>>
>> Das geht auch mit PHP-Scripten:
>>
>> bzcat planet-latest.osm.bz2 | php saxparser.php > output.txt
>>
>> Ein Beispiel in PHP kannst du dir hier runterladen:
>>
>> http://cassini.toolserver.org/~mazder/duplicate-countries/from-planet.osm/source.tar.bz2
>>
>> Peter
> 





Mehr Informationen über die Mailingliste Talk-de