[Talk-br] Digest Talk-br, volume 44, assunto 5

Domingo Maio 6 17:30:32 BST 2012

Olá D4RK-L3G10N,

Transformei os dados de todos municípios do estado de São Paulo num 
formato gpx simples. Os endereços apparecem como "waypoints". Os 
waypoints tem um unico attributo: name, onde coloquei uma combinação dos 
variáveis CNEFE:

Localidade ": " Logradouro ", " NumeroLogradouro

Alguns waypoints do arquivo IGUAPE.gpx: veja [1].

Também appliquei um filtro simples para eliminar pontos muito próximos 
(com endereços semelhantes), porque estes "quase duplicatas" complicam a 
leitura dos endereços na tela. A distância mínima entre os pontos é ~100 
metros.

Coloquei SP_lite_gpx.zip (~4MB) aqui:
https://docs.google.com/open?id=0B7wH21aRzMT_MTcxSkd2UXVOTTg

Abraços, Hermann

[1]

<wpt lat="-24.709502" lon="-47.570605">
   <name>JAIRE: RUA IVAN, 404</name>
</wpt>
...
<wpt lat="-24.712805" lon="-47.576055">
   <name>IGUAPE ROCIO: RUA REGISTRO, 830</name>
</wpt>
...
<wpt lat="-24.407492" lon="-47.372513">
   <name>PE DA SERRA: SITIO DO DESPRAIADO, 0SN</name>
</wpt>
...
<wpt lat="-24.768435" lon="-47.743842">
   <name>IGUAPE: ESTRADA DO CAFE, 5KM</name>
</wpt>
...
<wpt lat="-24.565678" lon="-47.57575">
   <name>IGUAPE: ESTRADA DO TABAQUARA, 0SN</name>
</wpt>

On 06/05/2012 17:24, D4RK-L3G10N wrote:
> Olá Hermann!
>
> Compreendo que existem em sua maioria apenas ruas em áreas rurais, mas
> para mim já é ótimo, pois também mapeio o interior do estado de São Paulo!
>
> Infelizmente meu conhecimento de programação é muito pequeno, por isso
> não sei te dizer qual o melhor formato que se adequa ao JOSM. Eu sei que
> ele possui a possibilidade de ler arquivos GPX, mas agora outros
> formatos acredito que não (já testei uma vez um arquivo kml mas deu erro).
>
> Novamente agradeço a sua preocupação em ter feito a captura para o
> município de São Paulo e quando for possível e menos incômodo para você,
> pode me mandar esses dados! Mas como eu também mapeio municípios perto
> de Holambra/SP e Iguape/SP, também me serve um arquivo que engloba todos
> os dados do estado de São Paulo, dos quais então usarei os mais
> relevantes para mim. Mas faça o que for mais fácil para você, afinal das
> contas você já está sendo muito legal em transformar esses dados em algo
> útil para nós :)
>
> Abraços,
> D4RK-L3G10N
>
> ------------------------------------------------------------------------
> *From:* "talk-br-request em openstreetmap.org"
> <talk-br-request em openstreetmap.org>
> *To:* talk-br em openstreetmap.org
> *Sent:* Friday, May 4, 2012 8:00 AM
> *Subject:* Digest Talk-br, volume 44, assunto 5
>
> Enviar submissões para a lista de discussão Talk-br para
> talk-br em openstreetmap.org <mailto:talk-br em openstreetmap.org>
>
> Para se cadastrar ou descadastrar via WWW, visite o endereço
> http://lists.openstreetmap.org/listinfo/talk-br
> ou, via email, envie uma mensagem com a palavra 'help' no assunto ou
> corpo da mensagem para
> talk-br-request em openstreetmap.org <mailto:talk-br-request em openstreetmap.org>
>
> Você poderá entrar em contato com a pessoa que gerencia a lista pelo
> endereço
> talk-br-owner em openstreetmap.org <mailto:talk-br-owner em openstreetmap.org>
>
> Quando responder, por favor edite sua linha Assunto assim ela será
> mais específica que "Re: Contents of Talk-br digest..."
>
>
> Tópicos de Hoje:
>
> 1. Re: Street name data (Hermann Peifer)
> 2. Re: Street name data (vitor)
>
>
> ----------------------------------------------------------------------
>
> Message: 1
> Date: Thu, 03 May 2012 21:16:39 +0200
> From: Hermann Peifer <peifer em gmx.eu <mailto:peifer em gmx.eu>>
> To: OSM talk-br <talk-br em openstreetmap.org
> <mailto:talk-br em openstreetmap.org>>
> Subject: Re: [Talk-br] Street name data
> Message-ID: <4FA2D997.7040501 em gmx.eu <mailto:4FA2D997.7040501 em gmx.eu>>
> Content-Type: text/plain; charset=windows-1252; format=flowed
>
>
> Se alguem quiser: posso gerar arquivos kml (ou shp, ...) para todos os
> municipios (ou estados) do Brasil. Nao custa muito. Ja fiz os ~500
> municipios do RS (em approx. 1 hora). Veja abaixo um exemplo de um
> "Placemark" [1].
>
> Minha maneira de processar os dados era:
> 0) wget -r ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/...
> 1) unzip
> 2) awk -f coordinates.awk ibge_file.txt > out_file.csv
> 3) ogr2ogr -f kml out_file.kml out_file.csv
>
> Abs, Hermann
>
> [1]
> <Placemark>
> <name>ESTRADA PARIS PINHEIRO MACHADO 0SN</name>
> <ExtendedData>
> <SchemaData schemaUrl="#Enderecos_IBGE">
> <SimpleData name="Name">ESTRADA PARIS PINHEIRO MACHADO
> 0SN</SimpleData>
> <SimpleData name="Setor">430265905000014</SimpleData>
> <SimpleData name="SituacaoSetor">2</SimpleData>
> <SimpleData name="Logradouro">ESTRADA PARIS PINHEIRO
> MACHADO</SimpleData>
> <SimpleData name="NumeroLogradouro">0SN</SimpleData>
> <SimpleData name="Complemento"/>
> <SimpleData name="Latitude">-29.496827</SimpleData>
> <SimpleData name="Longitude">-51.647645</SimpleData>
> <SimpleData name="Localidade">NOVO PARIS</SimpleData>
> <SimpleData name="EspecieEndereco">06</SimpleData>
> <SimpleData name="Estabelecimento">CEMITERIO EVANGELICO NOVO
> PARIS</SimpleData>
> <SimpleData name="IndicadorEndereco">1</SimpleData>
> <SimpleData name="DomicilioColetivo"/>
> <SimpleData name="NumeroQuadra">000</SimpleData>
> <SimpleData name="NumeroFace">000</SimpleData>
> <SimpleData name="CEP">95790000</SimpleData>
> </SchemaData>
> </ExtendedData>
> <Point>
> <coordinates>-51.647645,-29.496827</coordinates>
> </Point>
> </Placemark>
>
>
> On 03/05/2012 17:47, Rodrigo Avila wrote:
>  > Oi Hermann,
>  >
>  > pode ensinar como faz isso? A cidade onde moro é mais rural que urbana,
>  > então...
>  >
>  > --
>  > Rodrigo de Avila
>  > Analista de Desenvolvimento
>  >
>  > rodrigo em avila.net.br <mailto:rodrigo em avila.net.br>
> <mailto:rodrigo em avila.net.br <mailto:rodrigo em avila.net.br>>?
> www.avila.net.br
>  > <http://www.avila.net.br>
>  >
>  >
>  >
>  >
>  > Em 3 de maio de 2012 12:42, Hermann Peifer <peifer em gmx.eu
> <mailto:peifer em gmx.eu>
>  > <mailto:peifer em gmx.eu <mailto:peifer em gmx.eu>>> escreveu:
>  >
>  > On 02/05/2012 16:20, Arlindo Pereira wrote:
>  >
>  > Hermann: seu português está melhor do que o de muitos
>  > brasileiros ;-)
>  >
>  > Vitor: sabe informar a licença desses dados do IBGE? Tem muita
>  > rua aqui
>  > no Rio traçada a partir das imagens do Bing que ainda está sem nome.
>  >
>  >
>  > Ontem baxei todos os dados do "Cadastro Nacional de Endereços Fins
>  > Estatisticos" [1]. São 10903 arquivos com um total de 81+ M
>  > endereços. Entre eles, achei ~ 9 M endereços georeferenciadas. Quase
>  > todos eles estão situados nos "setores rurais", normalmente perto
>  > das estradas principais.
>  >
>  > Aqui um exemplo de Ivoti, Rio Grande do Sul [2]. Infelizmente, não
>  > achei nemhuma informaçao sobre a licença desses dados do IBGE :-(
>  >
>  > Abs, Hermann
>  >
>  > [1]
>  >
> ftp://ftp.ibge.gov.br/Censos/__Censo_Demografico_2010/__Cadastro_Nacional_de___Enderecos_Fins_Estatisticos
>  >
> <ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos>
> <ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos%3E>
>  >
>  > [2] https://docs.google.com/open?__id=0B7wH21aRzMT___bmpDU3hGMTQ0SkE
>  > <https://docs.google.com/open?id=0B7wH21aRzMT_bmpDU3hGMTQ0SkE>
>  >
>  >
>  >
>  > _________________________________________________
>  > Talk-br mailing list
>  > Talk-br em openstreetmap.org <mailto:Talk-br em openstreetmap.org>
> <mailto:Talk-br em openstreetmap.org <mailto:Talk-br em openstreetmap.org>>
>  > http://lists.openstreetmap.__org/listinfo/talk-br
>  > <http://lists.openstreetmap.org/listinfo/talk-br>
>  >
>  >
>  >
>  >
>  > _______________________________________________
>  > Talk-br mailing list
>  > Talk-br em openstreetmap.org <mailto:Talk-br em openstreetmap.org>
>  > http://lists.openstreetmap.org/listinfo/talk-br
>
>
>
>
> ------------------------------
>
> Message: 2
> Date: Thu, 3 May 2012 19:09:10 -0500
> From: vitor <vitor.george em gmail.com <mailto:vitor.george em gmail.com>>
> To: OSM talk-br <talk-br em openstreetmap.org
> <mailto:talk-br em openstreetmap.org>>
> Subject: Re: [Talk-br] Street name data
> Message-ID:
> <CAPDrgE3TAdc8S4ar+Wvrx9CUfxjfkr31MXwCukEbG+vSe_jrGA em mail.gmail.com
> <mailto:vSe_jrGA em mail.gmail.com>>
> Content-Type: text/plain; charset="utf-8"
>
> Amigos,
>
> Desculpe a demora em responder, estava em viagem e agora estou tentando
> alcançar o mítico inbox zero.
>
> Eu também fiz um script pra baixar e interpretar os dados:
>
> https://github.com/vgeorge/cnefe-parser
>
> Eu consegui importar tudo para um SQL, que ficou com 15gb de tamanho.
>
> Abri um ticket para melhorar o script baixar somente arquivos de um estado,
> cidade, bairro, etc:
>
> https://github.com/vgeorge/cnefe-parser/issues/1
>
> Minha objetivo com estes dados é fazer uma interface web cruzando nomes do
> CNEFE e do OSM, para que as pessoas possam ir ajustando as suas regiões.
> São 80 milhões de endereços nesta base!
>
> Vitor George
> mapaslivres.org
> twitter.com/mapaslivres
>
> 2012/5/3 Hermann Peifer <peifer em gmx.eu <mailto:peifer em gmx.eu>>
>
>  >
>  > Se alguem quiser: posso gerar arquivos kml (ou shp, ...) para todos os
>  > municipios (ou estados) do Brasil. Nao custa muito. Ja fiz os ~500
>  > municipios do RS (em approx. 1 hora). Veja abaixo um exemplo de um
>  > "Placemark" [1].
>  >
>  > Minha maneira de processar os dados era:
>  > 0) wget -r
> ftp://ftp.ibge.gov.br/Censos/**Censo_Demografico_2010/.<ftp://ftp.ibge.gov.br/Censos/**Censo_Demografico_2010/.%3Cftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/.%3E>
>  > ..
>  > 1) unzip
>  > 2) awk -f coordinates.awk ibge_file.txt > out_file.csv
>  > 3) ogr2ogr -f kml out_file.kml out_file.csv
>  >
>  > Abs, Hermann
>  >
>  > [1]
>  > <Placemark>
>  > <name>ESTRADA PARIS PINHEIRO MACHADO 0SN</name>
>  > <ExtendedData>
>  > <SchemaData schemaUrl="#Enderecos_IBGE">
>  > <SimpleData name="Name">ESTRADA PARIS PINHEIRO MACHADO
>  > 0SN</SimpleData>
>  > <SimpleData name="Setor">430265905000014</**SimpleData>
>  > <SimpleData name="SituacaoSetor">2</**SimpleData>
>  > <SimpleData name="Logradouro">ESTRADA PARIS PINHEIRO
>  > MACHADO</SimpleData>
>  > <SimpleData name="NumeroLogradouro">0SN</**SimpleData>
>  > <SimpleData name="Complemento"/>
>  > <SimpleData name="Latitude">-29.496827</**SimpleData>
>  > <SimpleData name="Longitude">-51.647645</**SimpleData>
>  > <SimpleData name="Localidade">NOVO PARIS</SimpleData>
>  > <SimpleData name="EspecieEndereco">06</**SimpleData>
>  > <SimpleData name="Estabelecimento">**CEMITERIO EVANGELICO NOVO
>  > PARIS</SimpleData>
>  > <SimpleData name="IndicadorEndereco">1</**SimpleData>
>  > <SimpleData name="DomicilioColetivo"/>
>  > <SimpleData name="NumeroQuadra">000</**SimpleData>
>  > <SimpleData name="NumeroFace">000</**SimpleData>
>  > <SimpleData name="CEP">95790000</**SimpleData>
>  > </SchemaData>
>  > </ExtendedData>
>  > <Point>
>  > <coordinates>-51.647645,-29.**496827</coordinates>
>  > </Point>
>  > </Placemark>
>  >
>  >
>  >
>  > On 03/05/2012 17:47, Rodrigo Avila wrote:
>  >
>  >> Oi Hermann,
>  >>
>  >> pode ensinar como faz isso? A cidade onde moro é mais rural que urbana,
>  >> então...
>  >>
>  >> --
>  >> Rodrigo de Avila
>  >> Analista de Desenvolvimento
>  >>
>  >> rodrigo em avila.net.br <mailto:rodrigo em avila.net.br>
> <mailto:rodrigo em avila.net.br <mailto:rodrigo em avila.net.br>>?
> www.avila.net.br
>  >> <http://www.avila.net.br>
>  >>
>  >>
>  >>
>  >>
>  >>
>  >> Em 3 de maio de 2012 12:42, Hermann Peifer <peifer em gmx.eu
> <mailto:peifer em gmx.eu>
>  >> <mailto:peifer em gmx.eu <mailto:peifer em gmx.eu>>> escreveu:
>  >>
>  >>
>  >> On 02/05/2012 16:20, Arlindo Pereira wrote:
>  >>
>  >> Hermann: seu português está melhor do que o de muitos
>  >> brasileiros ;-)
>  >>
>  >> Vitor: sabe informar a licença desses dados do IBGE? Tem muita
>  >> rua aqui
>  >> no Rio traçada a partir das imagens do Bing que ainda está sem
>  >> nome.
>  >>
>  >>
>  >> Ontem baxei todos os dados do "Cadastro Nacional de Endereços Fins
>  >> Estatisticos" [1]. São 10903 arquivos com um total de 81+ M
>  >> endereços. Entre eles, achei ~ 9 M endereços georeferenciadas. Quase
>  >> todos eles estão situados nos "setores rurais", normalmente perto
>  >> das estradas principais.
>  >>
>  >> Aqui um exemplo de Ivoti, Rio Grande do Sul [2]. Infelizmente, não
>  >> achei nemhuma informaçao sobre a licença desses dados do IBGE :-(
>  >>
>  >> Abs, Hermann
>  >>
>  >> [1]
>  >> ftp://ftp.ibge.gov.br/Censos/_**_Censo_Demografico_2010/__**
>  >>
> Cadastro_Nacional_de___**Enderecos_Fins_Estatisticos<ftp://ftp.ibge.gov.br/Censos/__Censo_Demografico_2010/__Cadastro_Nacional_de___Enderecos_Fins_Estatisticos>
> <ftp://ftp.ibge.gov.br/Censos/__Censo_Demografico_2010/__Cadastro_Nacional_de___Enderecos_Fins_Estatisticos%3E>
>  >> <ftp://ftp.ibge.gov.br/Censos/**Censo_Demografico_2010/**
>  >>
> Cadastro_Nacional_de_**Enderecos_Fins_Estatisticos<ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos>
> <ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos%3E>
>  >> >
>  >>
>  >> [2] https://docs.google.com/open?_**_id=0B7wH21aRzMT___**
>  >>
> bmpDU3hGMTQ0SkE<https://docs.google.com/open?__id=0B7wH21aRzMT___bmpDU3hGMTQ0SkE>
>  >>
> <https://docs.google.com/open?**id=0B7wH21aRzMT_**bmpDU3hGMTQ0SkE<https://docs.google.com/open?id=0B7wH21aRzMT_bmpDU3hGMTQ0SkE>
>  >> >
>  >>
>  >>