[Talk-de] D-A-CH

Peter Wendorff wendorff at uni-paderborn.de
Fr Feb 21 07:59:23 UTC 2014


Hallo Frederik,
wie groß ist denn der Nachteil beim Zusammenbauen? Das Script, das Du
angibst, ist ja erstmal nicht so besonders kompliziert; wie viel
Laufzeit und Speicher kostet es, entsprechende Extrakte zusammenzubauen?

Naiv und ohne Details des osmosis-codes zu kennen müsste doch eigentlich
(wenn man voraussetzen kann, dass die Versionen aller Objekte in allen
Teilextrakten zusammenpassen) einmal durch alle osm/pbf-Dateien geparst
werden, während die bereits übernommenen ObjektIDs gespeichert sind.

Das ist also weitgehend lineare Laufzeit in der Größe der
Eingabedateien; und wenn man möchte, kann man statt einer Ergebnisdatei
ja auch direkt die weitere Verarbeitung - DB-Import etc. anhängen.

Eine Umsetzung für unterschiedliche Shells ("notfalls" einschließlich
Windows) sollte auch machbar sein.

Wenn also der Overhead zumindest bestimmter Nachbarextrakte nicht zu
groß ist, ist es vielleicht eine Überlegung wert, so 'ne Art
Download-Paket-Option anzubieten: Man lade DE, A, CH in einen Ordner, in
dem auch das merge-Script liegt und starte das Script (das kann für
langsame Netzwerkverbindungen bei Bedarf auch schon während des
downloads loslaufen); der Rest ergibt sich von selbst.

Oder übersehe ich dabei was wichtiges?

Gruß
Peter

P.S.: Deshalb sind natürlich manche Extrakte, gerade für Kontinente etc.
trotzdem sinnvoll, weil es bei denen für die Speicherung der schon
übernommenen Objekte schon für einen nicht allerneuesten Heim-PC elend
viel Speicher braucht...

Am 20.02.2014 23:25, schrieb Frederik Ramm:
> Hallo,
> 
> On 20.02.2014 21:59, Christian H. Bruhn wrote:
>> Ist der Bedarf nach DACH-Daten tatsächlich so groß? Oder wollen die
>> Leute nicht eher BYBWACH?
> 
> Das ist ja schon das "Alpen"-Extrakt ;)
> 
> Der Bedarf nach "DACH" ist zumindest der am häufigsten geäußerte. Ich
> hab mich bislang immer geziert, weil ich wusste, dass dann natürlich all
> die Fragen nach Benelux, Deutschland+Polen, Ostsee-Anreinerstaaten und
> und und kommen.
> 
> Im Grunde kann man sich benachbarte Regionen mit Osmosis zusammenbauen,
> hier z.B. ein Skript für ein
> Benelux+Niedersachsen+Nordrheinwestfalen+Rheinlandpfalz-Extrakt:
> 
>>>> SCHNIPP
> 
> #!/bin/sh
> 
> set -e
> 
> BASE="http://download.geofabrik.de/europe"
> PIECES="germany/niedersachsen germany/nordrhein-westfalen
> germany/rheinland-pfalz belgium netherlands luxembourg"
> OUTPUT="meinfile.osm.pbf"
> OSMOSIS="/srv/osmosis/bin/osmosis"
> 
> # hierunter nix aendern
> 
> NUM=0
> MERGE=""
> OSMOSISFLAGS=""
> export NUM MERGE OSMOSISFLAGS
> 
> for p in $PIECES
> do
>    NUM=`expr $NUM + 1`
>    wget -qO$NUM.osm.pbf $BASE/$p-latest.osm.pbf
>    OSMOSISFLAGS="$OSMOSISFLAGS --read-pbf $NUM.osm.pbf $MERGE"
>    MERGE="--merge"
> done
> $OSMOSIS $OSMOSISFLAGS --write-pbf $OUTPUT
> 
> <<< SCHNAPP
> 
> Das sollte eigentlich auch die wegen Überschneidung doppelten Ways
> richtig rauswerfen.
> 
> Bye
> Frederik
> 





Mehr Informationen über die Mailingliste Talk-de