[dev-italia] Dati ISTAT provvisori

[Francesco Pelullo]

Io invece vorrei segnalare un fatto curioso.

La struttura dei dati dello shapefile R19_WGS84 (regione Sicilia) è diversa
da tutte le altre ed, ovviamente, dalla descrizione dei dati che hanno
pubblicato.

Oltre a cambiare i nomi dei campi:
TIPO_LOC -----> TIPO_LOC_N
COD_LOC -----> LOC
ACE -------------> COM_ACE

mi manca il campo COD_ASC che dovrebbe identificare univocamente l'area
subcomunale in ambito comunale.
In compenso esistono due campi non documentati:
COD_TIPO_S = integer varia tra 0 e 100
GISTAT_SEZ  = integer sempre 0

Manca inoltre il campo COD_REG che è ovviamente sempre uguale a 19 per
questo shapefile.


Se c'é spazio su openstreetmap.it potremmo ripubblicare gli stessi dati
dell'ISTAT ripuliti e quindi riutilizzabili più facilmente.

Ciao
/niubii/




Il giorno 21 marzo 2014 10:41, marco bra <marcobra.ubuntu a gmail.com> ha
scritto:

> Daniele
> Dai dati tirati giù il:
>
> mar 21 09:23 dati_sc_provvisori.zip
>
> ci sono gli stessi problemi in altri files csv, ulteriormente, viene
> usato erroneamente come apice il backtick invece dell'apostrofo
> normale:
>
> R18_Dati_SC_2011_provvisori.csv:150488:    sparse in corso di
> validazione;;;;VIA;DELL` ACQUA SOLFUREA;13;
>
> Per un totale di righe:
>
> grep -n  "\`" *.csv > /tmp/tot ; wc -l /tmp/tot
>
> 385278 tot
>
> Poi forse ci saranno altri caratteri "sporchi"
>
> Poi per pulire, se serve:
>
> #!/bin/bash
>
> for fi in $(ls -1 *.csv); do
>    fo=puli_$fi
>    echo "---------------------------------------------"
>    echo "Linee entranti" $(wc -l $fi)
>    cat $fi | sed "s/\`/'/g;s/^[ \t]*//;s/[ \t]*$//" > $fo;
>    echo "Linee entranti" $(wc -l $fo)
>    echo "Controllo a posteriori per verificare presenze non volute"
>    grep -e "^ " $fo
>    grep -n  "\`" $fo
> done
>
>
> Ciao ...
> Marco
>
>
>
>
> Il 20 marzo 2014 20:06, Francesco Pelullo <f.pelullo a gmail.com> ha
> scritto:
> > Io li ho ripuliti ed importati in una sola tabella dentro un db
> spatialite.
> >
> > Se serve posso caricarli da qualche parte.
> >
> > Stavo dando un'occhiata agli shapefiles, anche quelli... lasciamo
> perdere.
> >
> > Sto bestemmiando per completare l'import degli shp in un altro db
> > spatialite. Se ci riesco  vorrei incrociare le geometrie con le sezioni
> per
> > verificare oltre a Milano quali sono gli altri comuni senza
> toponomastica.
> >
> > Ciao
> > /niubii/
> >
> > Il 20/mar/2014 18:53 "Daniele Forsi" <dforsi a gmail.com> ha scritto:
> >
> >> Il 20 marzo 2014 17:49, Simone Cortesi <simone a cortesi.com> ha scritto:
> >> > 2014-03-20 17:46 GMT+01:00 marco bra <marcobra.ubuntu a gmail.com>:
> >> >> Si ti confermo dall riga 1.470.533 fino a riga 1.470.567
> >> >
> >> > https://twitter.com/istat_it/status/446647022087864320
> >> >
> >> > @simonecortesi @OpenStreetMapIt I file dei Dati toponomastici
> >> > pubblicati lunedì presentavano un problema di formattazione che oggi è
> >> > risolto
> >>
> >> i problemi di formattazione non erano *uno* erano almeno *due*
> >> hanno corretto la virgola come separatore, ma le righe che diceva
> >> anche Marco sono sempre spezzate:
> >>
> >> nei dati scaricati oggi ci sono ancora delle righe che iniziano con uno
> >> spazio:
> >> grep -e "^ " Dati_SC_provvisori/R01_Dati_SC_2011_provvisori.csv
> >>     sparse in corso di validazione;;;;CASCINA;MAZZUCCO;1;
> >>     sparse in corso di validazione;;;;LOCALITA';CORSIETTA;1;
> >>     sparse in corso di validazione;;;;STRADA;OLTREPO;1;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;1;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;10;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;11;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;12;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;13;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;14;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;15;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;16;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;17;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;18;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;2;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;3;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;4;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;5;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;6;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;7;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;8;
> >>     sparse in corso di validazione;;;;VIA;CAMPELLO;9;
> >>
> >> Simone, Napo la prossima volta che vi capita di parlare con qualcuno
> >> che vuole liberare dei dati suggeritegli di mettere in piedi una
> >> testsuite, basta "wc -l" per contare le righe e scoprire se nei file
> >> ce ne sono di più o di meno del previsto
> >>
> >> --
> >> Daniele Forsi
> >>
> >> _______________________________________________
> >> dev-italia mailing list
> >> dev-italia a openstreetmap.org
> >> https://lists.openstreetmap.org/listinfo/dev-italia
> >
> >
> > _______________________________________________
> > dev-italia mailing list
> > dev-italia a openstreetmap.org
> > https://lists.openstreetmap.org/listinfo/dev-italia
> >
>
>
>
> --
> Linux Infinite Freedom
>
> I'm writing from this place:
> http://www.openstreetmap.org/?lat=44.39945&lon=8.6798&zoom=15&layers=M
>
> _______________________________________________
> dev-italia mailing list
> dev-italia a openstreetmap.org
> https://lists.openstreetmap.org/listinfo/dev-italia
>
-------------- parte successiva --------------
Un allegato HTML è stato rimosso...
URL: <http://lists.openstreetmap.org/pipermail/dev-italia/attachments/20140321/0ff462be/attachment-0001.html>