[dev-italia] Dati ISTAT provvisori

[marco bra]

Daniele
Dai dati tirati giù il:

mar 21 09:23 dati_sc_provvisori.zip

ci sono gli stessi problemi in altri files csv, ulteriormente, viene
usato erroneamente come apice il backtick invece dell'apostrofo
normale:

R18_Dati_SC_2011_provvisori.csv:150488:    sparse in corso di
validazione;;;;VIA;DELL` ACQUA SOLFUREA;13;

Per un totale di righe:

grep -n  "\`" *.csv > /tmp/tot ; wc -l /tmp/tot

385278 tot

Poi forse ci saranno altri caratteri "sporchi"

Poi per pulire, se serve:

#!/bin/bash

for fi in $(ls -1 *.csv); do
   fo=puli_$fi
   echo "---------------------------------------------"
   echo "Linee entranti" $(wc -l $fi)
   cat $fi | sed "s/\`/'/g;s/^[ \t]*//;s/[ \t]*$//" > $fo;
   echo "Linee entranti" $(wc -l $fo)
   echo "Controllo a posteriori per verificare presenze non volute"
   grep -e "^ " $fo
   grep -n  "\`" $fo
done


Ciao ...
Marco




Il 20 marzo 2014 20:06, Francesco Pelullo <f.pelullo a gmail.com> ha scritto:
> Io li ho ripuliti ed importati in una sola tabella dentro un db spatialite.
>
> Se serve posso caricarli da qualche parte.
>
> Stavo dando un'occhiata agli shapefiles, anche quelli... lasciamo perdere.
>
> Sto bestemmiando per completare l'import degli shp in un altro db
> spatialite. Se ci riesco  vorrei incrociare le geometrie con le sezioni per
> verificare oltre a Milano quali sono gli altri comuni senza toponomastica.
>
> Ciao
> /niubii/
>
> Il 20/mar/2014 18:53 "Daniele Forsi" <dforsi a gmail.com> ha scritto:
>
>> Il 20 marzo 2014 17:49, Simone Cortesi <simone a cortesi.com> ha scritto:
>> > 2014-03-20 17:46 GMT+01:00 marco bra <marcobra.ubuntu a gmail.com>:
>> >> Si ti confermo dall riga 1.470.533 fino a riga 1.470.567
>> >
>> > https://twitter.com/istat_it/status/446647022087864320
>> >
>> > @simonecortesi @OpenStreetMapIt I file dei Dati toponomastici
>> > pubblicati lunedì presentavano un problema di formattazione che oggi è
>> > risolto
>>
>> i problemi di formattazione non erano *uno* erano almeno *due*
>> hanno corretto la virgola come separatore, ma le righe che diceva
>> anche Marco sono sempre spezzate:
>>
>> nei dati scaricati oggi ci sono ancora delle righe che iniziano con uno
>> spazio:
>> grep -e "^ " Dati_SC_provvisori/R01_Dati_SC_2011_provvisori.csv
>>     sparse in corso di validazione;;;;CASCINA;MAZZUCCO;1;
>>     sparse in corso di validazione;;;;LOCALITA';CORSIETTA;1;
>>     sparse in corso di validazione;;;;STRADA;OLTREPO;1;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;1;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;10;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;11;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;12;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;13;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;14;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;15;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;16;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;17;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;18;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;2;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;3;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;4;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;5;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;6;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;7;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;8;
>>     sparse in corso di validazione;;;;VIA;CAMPELLO;9;
>>
>> Simone, Napo la prossima volta che vi capita di parlare con qualcuno
>> che vuole liberare dei dati suggeritegli di mettere in piedi una
>> testsuite, basta "wc -l" per contare le righe e scoprire se nei file
>> ce ne sono di più o di meno del previsto
>>
>> --
>> Daniele Forsi
>>
>> _______________________________________________
>> dev-italia mailing list
>> dev-italia a openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/dev-italia
>
>
> _______________________________________________
> dev-italia mailing list
> dev-italia a openstreetmap.org
> https://lists.openstreetmap.org/listinfo/dev-italia
>



-- 
Linux Infinite Freedom

I'm writing from this place:
http://www.openstreetmap.org/?lat=44.39945&lon=8.6798&zoom=15&layers=M