[Talk-it] Ref e nome della strada

[David Paleino]

On Sat, 12 Sep 2009 23:05:50 +0200, Daniele Forsi wrote:

> Il 12 settembre 2009 09.03, David Paleino ha scritto:
> > On Sat, 12 Sep 2009 01:43:07 +0200, Daniele Forsi wrote:
> 
> >> (la query che è un banale
> >> count(*) ci mette sui 20 secondi, sono le 2,5-3 ore per importare
> >> l'italy.osm che mi scoraggiano...)
> >
> > Esattamente che query è?
> 
> è quick and dirty, non ho nemmeno controllato quali sono gli indici

Ok, non importa, tranquillo :)
Al momento, abbiamo *grossi* problemi a fare ricerche "complesse" (una
d'esempio: beccare l'id delle relazioni boundary admin_level=4/6/8 ed
associarle al name=) parsando l'XML..

Il "problema" è che sono riuscito a scrivere il codice (con XPath, per
esempio), ma swappa comunque, perché carica l'XML in memoria.

> ho installato postgres e osmosis seguendo più o meno
> http://wiki.openstreetmap.org/wiki/Osmosis_PostGIS_Setup

Ok, leggo.

> [..]
> > Al momento c'è uno script che non si appoggia a Postgres, ma parsa l'xml
> > direttamente (con libxml2).. e l'intera esecuzione (parsing+risultati)
> > impiega ~40 minuti su stats (~20min sul mio) -- sempre meglio delle
> > 2,5-3h+20s :)
> 
> certo :) il mio vecchio computer è più adatto per la videoscrittura
> che per i database

Anche stats.openstreetmap.it non è granché, ma dato che gli script non girano
quotidianamente, a questo punto anche aspettare 2-3h andrebbe pure bene. Sempre
meglio di non poter avere nulla causa swap.

> io sono partito con l'idea di contare i ref, ma sarebbe più utile
> l'elenco delle strade che NON hanno il ref per il necessario lavoro di
> completamento

Beh, come discrimini strade senza ref perché non ce l'hanno da quelle in cui
manca per errore?

> e l'elenco delle strade che hanno il ref per un eventuale lavoro di
> omogeneizzazione/correzione degli errori, che in fin dei conti è comodo avere
> nel wiki come una tabella singola, in modo che chi lo desidera può
> aggiornarla senza rieseguire la query o commentarla, ma bisogna aggiungere in
> qualche modo le nuove way che verranno create in futuro

Beh, IMHO una pagina HTML auto-generata fa lo stesso sporco lavoro. Certo, non
si può modificare come una wiki, ma è utile come riferimento. Considera poi che
l'intenzione sarebbe di fare import+statistiche settimanali.. al più ti ritrovi
una tabella vecchia di una settimana :-)

> > (e: il parsing diretto ci consente anche di fare statistiche sugli utenti,
> > che non vengono invece importati in PostGIS, AFAICT).
> 
> con lo schema che ho usato gli utenti vengono importati:

Che schema?
Quando avevo sistemato PostGIS mesi fa non c'erano gli utenti... per questo ho
iniziato questa folle ricerca del parsing XML senza far esplodere la RAM :)

Ciao,
David (che va a leggere la wiki)

-- 
 . ''`.  Debian maintainer | http://wiki.debian.org/DavidPaleino
 : :'  : Linuxer #334216 --|-- http://www.hanskalabs.net/
 `. `'`  GPG: 1392B174 ----|---- http://snipr.com/qa_page
   `-   2BAB C625 4E66 E7B8 450A C3E1 E6AA 9017 1392 B174
-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 198 bytes
Desc: not available
URL: <http://lists.openstreetmap.org/pipermail/talk-it/attachments/20090912/e64e117e/attachment.pgp>