[Talk-br] Digest Talk-br, volume 44, assunto 5

Hermann Peifer peifer em gmx.eu
Sábado Maio 5 09:22:49 BST 2012


Ola Arlete e D4RK-L3G10N,

Como eu ja havia dito, o Cadastro Nacional de Enderecos Fins 
Estatisticos (CNEFE) tem um total de 81,5 milhões endereços para todo o 
Brasil. Entre eles, 9,7 milhões endereços sao georeferenciados com um 
valor Latitude e Longitude. Todos os outros endereços nao tem esta 
informação, so se sabe a que "setor censitário" eles pertencem.

Os setores censitários tem a classificação: Situação do setor (1=urbano, 
2=rural). Approx. 98% dos endereços georeferenciados estão localisados 
dentro de setores censitários rurais. No RS, Porto Alegre não tem nenhum 
endereço georeferenciado, Novo Hamburgo tambem não tem.

Entre os endereços georeferenciados tem duplicatas no sentido que 
endereços semelhantes vem com as mesmas coordenadas geogr	áficas. Depois 
de eliminar essas duplicatas (distância mínima entre as coordenadas: ~10 
metros), encontrei os seguintes números de endereços:

Município 3550308 SÃO PAULO: 6092
Município 3541406 PRESIDENTE PRUDENTE: 1954

Como varias pessoas estão interessados ​​nos dados de endereços 
georeferenciados: o melhor seria de concordar sobre

- o formato mais adequado (kml, osm, shp, gpx, ...)
- tamanhos "razoáveis" (divisão em estados, municípios, ...)
- eliminar coordenadas duplicatas ou não
- a seleção mais adequada de atributos
- onde publicar os dados

Para meu próprio uso, só preciso de alguns municípios do RS. Decidi de 
eliminar essas duplicatas e transformar os endereços restantes em 
formato kml, que posso usar como "background layer", no Potlatch2 
editor. Eu só uso o atributo "Logradouro" (como Placemark name) e 
"Localidade - Identificação estabelecimento" (como Placemark description).

Não uso JOSM e tambem não sei se o JOSM tem alguma função para usar 
"background vector files". Mas o JOSM não é o irmão grande do Potlatch? 
Então deve haver alguma função/plugin para isso.

Um abraço, Hermann


On 05/05/2012 00:46, Arlete Meneguette wrote:
> Hermann
> Minha área de estudo é Presidente Prudente, SP.
> Você pode me ajudar?
> Grata.
> Arlete
>
> Em 04/05/2012 19:26, "D4RK-L3G10N" <d4rkl3g10n em yahoo.com
> <mailto:d4rkl3g10n em yahoo.com>> escreveu:
>
>     Olá Hermann,
>
>     Eu tenho interesse na geração de um arquivo para a região
>     metropolitana de São Paulo somente, mas se for muito trabalho pra
>     você restringir para uma área menor, pode ser de todo o estado
>     também, o que for mais fácil para você. :)
>
>     Uma pergunta: esses arquivos podem ser lidos pelo JOSM? É o programa
>     que eu uso.
>
>     Muito obrigado!!!!!
>     D4RK-L3G10N
>
>     ------------------------------------------------------------------------
>     *From:* "talk-br-request em openstreetmap.org
>     <mailto:talk-br-request em openstreetmap.org>"
>     <talk-br-request em openstreetmap.org
>     <mailto:talk-br-request em openstreetmap.org>>
>     *To:* talk-br em openstreetmap.org <mailto:talk-br em openstreetmap.org>
>     *Sent:* Friday, May 4, 2012 8:00 AM
>     *Subject:* Digest Talk-br, volume 44, assunto 5
>
>     Enviar submissões para a lista de discussão Talk-br para
>     talk-br em openstreetmap.org <mailto:talk-br em openstreetmap.org>
>
>     Para se cadastrar ou descadastrar via WWW, visite o endereço
>     http://lists.openstreetmap.org/listinfo/talk-br
>     ou, via email, envie uma mensagem com a palavra 'help' no assunto ou
>     corpo da mensagem para
>     talk-br-request em openstreetmap.org
>     <mailto:talk-br-request em openstreetmap.org>
>
>     Você poderá entrar em contato com a pessoa que gerencia a lista pelo
>     endereço
>     talk-br-owner em openstreetmap.org <mailto:talk-br-owner em openstreetmap.org>
>
>     Quando responder, por favor edite sua linha Assunto assim ela será
>     mais específica que "Re: Contents of Talk-br digest..."
>
>
>     Tópicos de Hoje:
>
>        1. Re: Street name data (Hermann Peifer)
>        2. Re: Street name data (vitor)
>
>
>     ----------------------------------------------------------------------
>
>     Message: 1
>     Date: Thu, 03 May 2012 21:16:39 +0200
>     From: Hermann Peifer <peifer em gmx.eu <mailto:peifer em gmx.eu>>
>     To: OSM talk-br <talk-br em openstreetmap.org
>     <mailto:talk-br em openstreetmap.org>>
>     Subject: Re: [Talk-br] Street name data
>     Message-ID: <4FA2D997.7040501 em gmx.eu <mailto:4FA2D997.7040501 em gmx.eu>>
>     Content-Type: text/plain; charset=windows-1252; format=flowed
>
>
>     Se alguem quiser: posso gerar arquivos kml (ou shp, ...) para todos os
>     municipios (ou estados) do Brasil. Nao custa muito. Ja fiz os ~500
>     municipios do RS (em approx. 1 hora). Veja abaixo um exemplo de um
>     "Placemark" [1].
>
>     Minha maneira de processar os dados era:
>     0) wget -r ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/...
>     1) unzip
>     2) awk -f coordinates.awk ibge_file.txt > out_file.csv
>     3) ogr2ogr -f kml out_file.kml out_file.csv
>
>     Abs, Hermann
>
>     [1]
>     <Placemark>
>     <name>ESTRADA PARIS PINHEIRO MACHADO 0SN</name>
>     <ExtendedData>
>     <SchemaData schemaUrl="#Enderecos_IBGE">
>     <SimpleData name="Name">ESTRADA PARIS PINHEIRO MACHADO
>     0SN</SimpleData>
>     <SimpleData name="Setor">430265905000014</SimpleData>
>     <SimpleData name="SituacaoSetor">2</SimpleData>
>     <SimpleData name="Logradouro">ESTRADA PARIS PINHEIRO
>     MACHADO</SimpleData>
>     <SimpleData name="NumeroLogradouro">0SN</SimpleData>
>     <SimpleData name="Complemento"/>
>     <SimpleData name="Latitude">-29.496827</SimpleData>
>     <SimpleData name="Longitude">-51.647645</SimpleData>
>     <SimpleData name="Localidade">NOVO PARIS</SimpleData>
>     <SimpleData name="EspecieEndereco">06</SimpleData>
>     <SimpleData name="Estabelecimento">CEMITERIO EVANGELICO NOVO
>     PARIS</SimpleData>
>     <SimpleData name="IndicadorEndereco">1</SimpleData>
>     <SimpleData name="DomicilioColetivo"/>
>     <SimpleData name="NumeroQuadra">000</SimpleData>
>     <SimpleData name="NumeroFace">000</SimpleData>
>     <SimpleData name="CEP">95790000</SimpleData>
>     </SchemaData>
>     </ExtendedData>
>     <Point>
>     <coordinates>-51.647645,-29.496827</coordinates>
>     </Point>
>     </Placemark>
>
>
>     On 03/05/2012 17:47, Rodrigo Avila wrote:
>      > Oi Hermann,
>      >
>      > pode ensinar como faz isso? A cidade onde moro é mais rural que
>     urbana,
>      > então...
>      >
>      > --
>      > Rodrigo de Avila
>      > Analista de Desenvolvimento
>      >
>      > rodrigo em avila.net.br <mailto:rodrigo em avila.net.br>
>     <mailto:rodrigo em avila.net.br <mailto:rodrigo em avila.net.br>>?
>     www.avila.net.br <http://www.avila.net.br>
>      > <http://www.avila.net.br>
>      >
>      >
>      >
>      >
>      > Em 3 de maio de 2012 12:42, Hermann Peifer <peifer em gmx.eu
>     <mailto:peifer em gmx.eu>
>      > <mailto:peifer em gmx.eu <mailto:peifer em gmx.eu>>> escreveu:
>      >
>      >    On 02/05/2012 16:20, Arlindo Pereira wrote:
>      >
>      >        Hermann: seu português está melhor do que o de muitos
>      >        brasileiros ;-)
>      >
>      >        Vitor: sabe informar a licença desses dados do IBGE? Tem muita
>      >        rua aqui
>      >        no Rio traçada a partir das imagens do Bing que ainda está
>     sem nome.
>      >
>      >
>      >    Ontem baxei todos os dados do "Cadastro Nacional de Endereços Fins
>      >    Estatisticos" [1]. São 10903 arquivos com um total de 81+ M
>      >    endereços. Entre eles, achei ~ 9 M endereços georeferenciadas.
>     Quase
>      >    todos eles estão situados nos "setores rurais", normalmente perto
>      >    das estradas principais.
>      >
>      >    Aqui um exemplo de Ivoti, Rio Grande do Sul [2]. Infelizmente, não
>      >    achei nemhuma informaçao sobre a licença desses dados do IBGE :-(
>      >
>      >    Abs, Hermann
>      >
>      >    [1]
>      >
>     ftp://ftp.ibge.gov.br/Censos/__Censo_Demografico_2010/__Cadastro_Nacional_de___Enderecos_Fins_Estatisticos
>      >
>     <ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos>
>     <ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos%3E>
>      >
>      >    [2]
>     https://docs.google.com/open?__id=0B7wH21aRzMT___bmpDU3hGMTQ0SkE
>      > <https://docs.google.com/open?id=0B7wH21aRzMT_bmpDU3hGMTQ0SkE>
>      >
>      >
>      >
>      >    _________________________________________________
>      >    Talk-br mailing list
>      > Talk-br em openstreetmap.org <mailto:Talk-br em openstreetmap.org>
>     <mailto:Talk-br em openstreetmap.org <mailto:Talk-br em openstreetmap.org>>
>      > http://lists.openstreetmap.__org/listinfo/talk-br
>      > <http://lists.openstreetmap.org/listinfo/talk-br>
>      >
>      >
>      >
>      >
>      > _______________________________________________
>      > Talk-br mailing list
>      > Talk-br em openstreetmap.org <mailto:Talk-br em openstreetmap.org>
>      > http://lists.openstreetmap.org/listinfo/talk-br
>
>
>
>
>     ------------------------------
>
>     Message: 2
>     Date: Thu, 3 May 2012 19:09:10 -0500
>     From: vitor <vitor.george em gmail.com <mailto:vitor.george em gmail.com>>
>     To: OSM talk-br <talk-br em openstreetmap.org
>     <mailto:talk-br em openstreetmap.org>>
>     Subject: Re: [Talk-br] Street name data
>     Message-ID:
>     <CAPDrgE3TAdc8S4ar+Wvrx9CUfxjfkr31MXwCukEbG+vSe_jrGA em mail.gmail.com
>     <mailto:vSe_jrGA em mail.gmail.com>>
>     Content-Type: text/plain; charset="utf-8"
>
>     Amigos,
>
>     Desculpe a demora em responder, estava em viagem e agora estou tentando
>     alcançar o mítico inbox zero.
>
>     Eu também fiz um script pra baixar e interpretar os dados:
>
>     https://github.com/vgeorge/cnefe-parser
>
>     Eu consegui importar tudo para um SQL, que ficou com 15gb de tamanho.
>
>     Abri um ticket para melhorar o script baixar somente arquivos de um
>     estado,
>     cidade, bairro, etc:
>
>     https://github.com/vgeorge/cnefe-parser/issues/1
>
>     Minha objetivo com estes dados é fazer uma interface web cruzando
>     nomes do
>     CNEFE e do OSM, para que as pessoas possam ir ajustando as suas regiões.
>     São 80 milhões de endereços nesta base!
>
>     Vitor George
>     mapaslivres.org <http://mapaslivres.org>
>     twitter.com/mapaslivres <http://twitter.com/mapaslivres>
>
>     2012/5/3 Hermann Peifer <peifer em gmx.eu <mailto:peifer em gmx.eu>>
>
>      >
>      > Se alguem quiser: posso gerar arquivos kml (ou shp, ...) para
>     todos os
>      > municipios (ou estados) do Brasil. Nao custa muito. Ja fiz os ~500
>      > municipios do RS (em approx. 1 hora). Veja abaixo um exemplo de um
>      > "Placemark" [1].
>      >
>      > Minha maneira de processar os dados era:
>      > 0) wget -r
>     ftp://ftp.ibge.gov.br/Censos/**Censo_Demografico_2010/.____
>     <ftp://ftp.ibge.gov.br/Censos/**Censo_Demografico_2010/.%3Cftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/.%3E>
>      > ..
>      > 1) unzip
>      > 2) awk -f coordinates.awk ibge_file.txt > out_file.csv
>      > 3) ogr2ogr -f kml out_file.kml out_file.csv
>      >
>      > Abs, Hermann
>      >
>      > [1]
>      > <Placemark>
>      > <name>ESTRADA PARIS PINHEIRO MACHADO 0SN</name>
>      > <ExtendedData>
>      > <SchemaData schemaUrl="#Enderecos_IBGE">
>      > <SimpleData name="Name">ESTRADA PARIS PINHEIRO MACHADO
>      > 0SN</SimpleData>
>      > <SimpleData name="Setor">430265905000014</**SimpleData>
>      > <SimpleData name="SituacaoSetor">2</**SimpleData>
>      > <SimpleData name="Logradouro">ESTRADA PARIS PINHEIRO
>      > MACHADO</SimpleData>
>      > <SimpleData name="NumeroLogradouro">0SN</**SimpleData>
>      > <SimpleData name="Complemento"/>
>      > <SimpleData name="Latitude">-29.496827</**SimpleData>
>      > <SimpleData name="Longitude">-51.647645</**SimpleData>
>      > <SimpleData name="Localidade">NOVO PARIS</SimpleData>
>      > <SimpleData name="EspecieEndereco">06</**SimpleData>
>      > <SimpleData name="Estabelecimento">**CEMITERIO EVANGELICO NOVO
>      > PARIS</SimpleData>
>      > <SimpleData name="IndicadorEndereco">1</**SimpleData>
>      > <SimpleData name="DomicilioColetivo"/>
>      > <SimpleData name="NumeroQuadra">000</**SimpleData>
>      > <SimpleData name="NumeroFace">000</**SimpleData>
>      > <SimpleData name="CEP">95790000</**SimpleData>
>      > </SchemaData>
>      > </ExtendedData>
>      > <Point>
>      > <coordinates>-51.647645,-29.**496827</coordinates>
>      > </Point>
>      > </Placemark>
>      >
>      >
>      >
>      > On 03/05/2012 17:47, Rodrigo Avila wrote:
>      >
>      >> Oi Hermann,
>      >>
>      >> pode ensinar como faz isso? A cidade onde moro é mais rural que
>     urbana,
>      >> então...
>      >>
>      >> --
>      >> Rodrigo de Avila
>      >> Analista de Desenvolvimento
>      >>
>      >> rodrigo em avila.net.br <mailto:rodrigo em avila.net.br>
>     <mailto:rodrigo em avila.net.br <mailto:rodrigo em avila.net.br>>?
>     www.avila.net.br <http://www.avila.net.br>
>      >> <http://www.avila.net.br>
>      >>
>      >>
>      >>
>      >>
>      >>
>      >> Em 3 de maio de 2012 12:42, Hermann Peifer <peifer em gmx.eu
>     <mailto:peifer em gmx.eu>
>      >> <mailto:peifer em gmx.eu <mailto:peifer em gmx.eu>>> escreveu:
>      >>
>      >>
>      >>    On 02/05/2012 16:20, Arlindo Pereira wrote:
>      >>
>      >>        Hermann: seu português está melhor do que o de muitos
>      >>        brasileiros ;-)
>      >>
>      >>        Vitor: sabe informar a licença desses dados do IBGE? Tem
>     muita
>      >>        rua aqui
>      >>        no Rio traçada a partir das imagens do Bing que ainda
>     está sem
>      >> nome.
>      >>
>      >>
>      >>    Ontem baxei todos os dados do "Cadastro Nacional de Endereços
>     Fins
>      >>    Estatisticos" [1]. São 10903 arquivos com um total de 81+ M
>      >>    endereços. Entre eles, achei ~ 9 M endereços
>     georeferenciadas. Quase
>      >>    todos eles estão situados nos "setores rurais", normalmente perto
>      >>    das estradas principais.
>      >>
>      >>    Aqui um exemplo de Ivoti, Rio Grande do Sul [2].
>     Infelizmente, não
>      >>    achei nemhuma informaçao sobre a licença desses dados do IBGE :-(
>      >>
>      >>    Abs, Hermann
>      >>
>      >>    [1]
>      >> ftp://ftp.ibge.gov.br/Censos/_**_Censo_Demografico_2010/__**
>      >>
>     Cadastro_Nacional_de___**Enderecos_Fins_Estatisticos<ftp://ftp.ibge.gov.br/Censos/__Censo_Demografico_2010/__Cadastro_Nacional_de___Enderecos_Fins_Estatisticos>
>     <ftp://ftp.ibge.gov.br/Censos/__Censo_Demografico_2010/__Cadastro_Nacional_de___Enderecos_Fins_Estatisticos%3E>
>      >> <ftp://ftp.ibge.gov.br/Censos/**Censo_Demografico_2010/**
>      >>
>     Cadastro_Nacional_de_**Enderecos_Fins_Estatisticos<ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos>
>     <ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos%3E>
>      >> >
>      >>
>      >>    [2] https://docs.google.com/open?_**_id=0B7wH21aRzMT___**
>      >>
>     bmpDU3hGMTQ0SkE<https://docs.google.com/open?__id=0B7wH21aRzMT___bmpDU3hGMTQ0SkE>
>      >>
>     <https://docs.google.com/open?**id=0B7wH21aRzMT_**bmpDU3hGMTQ0SkE<https://docs.google.com/open?id=0B7wH21aRzMT_bmpDU3hGMTQ0SkE>
>      >> >




Mais detalhes sobre a lista de discussão Talk-br