[Talk-br] Street name data

Hermann Peifer peifer em gmx.eu
Domingo Maio 6 06:51:11 BST 2012


Ola Willie,

E verdade: coordinates.awk e um programinha AWK que eu criei, para 
converter o formato dos dados do CNEFE ("fixed field widths") no formato 
csv. O Vitor ja mostrou como fazer isto sem programa, somente com um 
"AWK one-liner":

gawk -v FIELDWIDTHS='15 1 20 30 60 8 7 20 10 20 10 20 10 20 10 20 10 20 
10 15 15 120 2 40 1 30 3 3 8' -v OFS=';' '{$1=$1 ; print }' infile.txt | 
sed 's/ *;/;/g' > outfile.csv  [1]

Meu programinha faz a mesma coisa, e so mais complicado ;-)

Posso te mandar, se quiseres.

Abraços, Hermann


[1] https://github.com/vgeorge/cnefe-parser/blob/master/go_parse.sh

On 06/05/2012 01:27, Wille wrote:
> Ola Hermann
>
> Tentei gerar um kml usando os comandos que você mostrou, mas não entendi
> de onde veio o arquivo coordinates.awk. É um arquivo de parâmetros
> criados por você?
>
> abçs,
> wille
>
>
>
> On 03-05-2012 16:16, Hermann Peifer wrote:
>>
>> Se alguem quiser: posso gerar arquivos kml (ou shp, ...) para todos os
>> municipios (ou estados) do Brasil. Nao custa muito. Ja fiz os ~500
>> municipios do RS (em approx. 1 hora). Veja abaixo um exemplo de um
>> "Placemark" [1].
>>
>> Minha maneira de processar os dados era:
>> 0) wget -r ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/...
>> 1) unzip
>> 2) awk -f coordinates.awk ibge_file.txt > out_file.csv
>> 3) ogr2ogr -f kml out_file.kml out_file.csv
>>
>> Abs, Hermann
>>
>> [1]
>> <Placemark>
>> <name>ESTRADA PARIS PINHEIRO MACHADO 0SN</name>
>> <ExtendedData>
>> <SchemaData schemaUrl="#Enderecos_IBGE">
>> <SimpleData name="Name">ESTRADA PARIS PINHEIRO MACHADO 0SN</SimpleData>
>> <SimpleData name="Setor">430265905000014</SimpleData>
>> <SimpleData name="SituacaoSetor">2</SimpleData>
>> <SimpleData name="Logradouro">ESTRADA PARIS PINHEIRO MACHADO</SimpleData>
>> <SimpleData name="NumeroLogradouro">0SN</SimpleData>
>> <SimpleData name="Complemento"/>
>> <SimpleData name="Latitude">-29.496827</SimpleData>
>> <SimpleData name="Longitude">-51.647645</SimpleData>
>> <SimpleData name="Localidade">NOVO PARIS</SimpleData>
>> <SimpleData name="EspecieEndereco">06</SimpleData>
>> <SimpleData name="Estabelecimento">CEMITERIO EVANGELICO NOVO
>> PARIS</SimpleData>
>> <SimpleData name="IndicadorEndereco">1</SimpleData>
>> <SimpleData name="DomicilioColetivo"/>
>> <SimpleData name="NumeroQuadra">000</SimpleData>
>> <SimpleData name="NumeroFace">000</SimpleData>
>> <SimpleData name="CEP">95790000</SimpleData>
>> </SchemaData>
>> </ExtendedData>
>> <Point>
>> <coordinates>-51.647645,-29.496827</coordinates>
>> </Point>
>> </Placemark>
>>
>>
>> On 03/05/2012 17:47, Rodrigo Avila wrote:
>>> Oi Hermann,
>>>
>>> pode ensinar como faz isso? A cidade onde moro é mais rural que urbana,
>>> então...
>>>
>>> --
>>> Rodrigo de Avila
>>> Analista de Desenvolvimento
>>>
>>> rodrigo em avila.net.br <mailto:rodrigo em avila.net.br>• www.avila.net.br
>>> <http://www.avila.net.br>
>>>
>>>
>>>
>>>
>>> Em 3 de maio de 2012 12:42, Hermann Peifer <peifer em gmx.eu
>>> <mailto:peifer em gmx.eu>> escreveu:
>>>
>>> On 02/05/2012 16:20, Arlindo Pereira wrote:
>>>
>>> Hermann: seu português está melhor do que o de muitos
>>> brasileiros ;-)
>>>
>>> Vitor: sabe informar a licença desses dados do IBGE? Tem muita
>>> rua aqui
>>> no Rio traçada a partir das imagens do Bing que ainda está sem nome.
>>>
>>>
>>> Ontem baxei todos os dados do "Cadastro Nacional de Endereços Fins
>>> Estatisticos" [1]. São 10903 arquivos com um total de 81+ M
>>> endereços. Entre eles, achei ~ 9 M endereços georeferenciadas. Quase
>>> todos eles estão situados nos "setores rurais", normalmente perto
>>> das estradas principais.
>>>
>>> Aqui um exemplo de Ivoti, Rio Grande do Sul [2]. Infelizmente, não
>>> achei nemhuma informaçao sobre a licença desses dados do IBGE :-(
>>>
>>> Abs, Hermann
>>>
>>> [1]
>>> ftp://ftp.ibge.gov.br/Censos/__Censo_Demografico_2010/__Cadastro_Nacional_de___Enderecos_Fins_Estatisticos
>>>
>>> <ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos>
>>>
>>>
>>> [2] https://docs.google.com/open?__id=0B7wH21aRzMT___bmpDU3hGMTQ0SkE
>>> <https://docs.google.com/open?id=0B7wH21aRzMT_bmpDU3hGMTQ0SkE>
>>>




Mais detalhes sobre a lista de discussão Talk-br