<div dir="ltr">Opa, não sabia qu eo Hermann já tava com a comparação em andamento. <div>Em que pé está isso? Digo isso porque finalmente consegui fazer o spatial join do shape de ruas do OSM com o shape de municípios do IBGE. Ia agora cruzar com os dados do CNEFE. Acho que dá até para fazer uns refinamentos como corrigir para typos no CNEFE e no OSM, fazer matching probabilistico/fuzzy (reclink).  É o que ia fazer agora, mas não vamos duplicar esforços, vocês já tem isso pronto?</div>
<div><br></div><div>Para o Heat map, vocês precisam os dados em que nível de detalhe? Agora que já desenvolvi a capacidade de cruzamento dos dados, seria fácil produzir  a mesma estatística por Bairro também. E eventualmente por setor. O que eu não sei fazer é o heatmap em sí, e colocar na web. </div>
<div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-04-03 16:05 GMT-03:00 Thiago Marcos P. Santos <span dir="ltr"><<a href="mailto:tmpsantos@gmail.com" target="_blank">tmpsantos@gmail.com</a>></span>:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation <<a href="mailto:lucasmation@gmail.com">lucasmation@gmail.com</a>>:<br>

<div class="">> Thiago, vamos estreitar mais a conversa e iniciativas.<br>
><br>
> Uma vez estive no IBGE a trabalho e eles comentaram que o shape de<br>
> quarteirões só poderá ser liberado em 2015, se não me engano, pois os mapas<br>
> foram comprados de empresas de mapeamento comercial, então não poderiam<br>
> liberar antes de 2015. Parece que este foi um grande desapontamento por lá,<br>
> pois achavam que a qualidade destes mapas seria muito melhor do que era e<br>
> fato. Antes do Censo as equipes do IBGE foram a campo fazer o "arrolamento"<br>
> dos setores censitários, isto é, verificar as ruas, corrigindo diretamente<br>
> no PDA, e estimando o número de casas por setor. Acho que existiria grande<br>
> potencial para o IBGE usar o OSM como base para o próximo censo, e usar a<br>
> enorme equipe deles para corrigir/complementar o OSM. Operacionalmente isso<br>
> é muito mais fácil do que ficar fazendo licitações, para comprar bases, etc.<br>
> Além disso já viria com uma série de aplicativos para fazer estas correções<br>
> no campo pela equipe deles.<br>
><br>
> Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma idéia<br>
> do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,  10% ou<br>
> 50% das ruas estão erradas?<br>
<br>
</div>Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos.<br>
<div class=""><br>
> Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace é<br>
> baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que<br>
> manualmente segmentar em ruas ou isso é feito de alguma forma automatizada?<br>
<br>
</div>É um XML com vários meta dados.<br>
<a href="http://wiki.openstreetmap.org/wiki/OSM_XML" target="_blank">http://wiki.openstreetmap.org/wiki/OSM_XML</a><br>
<br>
Tem várias bibliotecas já prontas para fazer o processamento deste XML:<br>
<a href="http://wiki.openstreetmap.org/wiki/Frameworks" target="_blank">http://wiki.openstreetmap.org/wiki/Frameworks</a><br>
<br>
Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o<br>
heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no<br>
dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas<br>
para incluir esta otimização de ruas que passam por múltiplas regiões<br>
censitárias.<br>
<br>
Conversando com um amigo alemão hoje, ele estava me falando como a<br>
"gamification" do OSM ajudou a melhor a situação dos mapas na<br>
Alemanha, já que todo mundo queria ver sua cidade "verde" no head map.<br>
:)<br>
<div class="HOEnZb"><div class="h5"><br>
> Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,<br>
> poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do<br>
> CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores A,B,C e<br>
> D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e D ,<br>
> e não pela lista completa de ruas que passam por qualquer um deles.<br>
><br>
><br>
><br>
> 4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import dos<br>
> números de casa, deixe-me explicar melhor a idéia. Para isso vai ser<br>
> necessário parear as quadras e faces de quadras das com ruas já mapeadas e<br>
> nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?<br>
> Imagino algo assim:<br>
> Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de quadras do<br>
> OSM, onde cada quadra i é indexada pela lista de quarteirões que a compõem.<br>
> E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de ruas<br>
> do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser mais).<br>
> Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,<br>
> Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j e é<br>
> descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...}<br>
> Contanto que as ruas nas duas bases estejam com nomes similares, estejam<br>
> pareadas, podemos formular um problema matemático, um sistema de equações<br>
> para determinar os pareamentos entre as quadras i e j (OSM e CNEFE). Claro,<br>
> isso não precisa ser feito com todas as quadras contra todas, basta cruzar<br>
> os subconjuntos de quadras em cada setor nas duas bases. Tendo feito este<br>
> pareamento, seria possível saber para cada face de quarteirão do CNEFE a<br>
> face de rua correspondente no OSM. Aí bastaria importar todos os endereços<br>
> daquela face, talvez validando primeiro para ver se a informação é<br>
> compatível com os endereços já incluidos no OSM daquela face.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
> 2014-04-02 20:38 GMT-03:00 Thiago Marcos P. Santos <<a href="mailto:tmpsantos@gmail.com">tmpsantos@gmail.com</a>>:<br>
><br>
>> 2014-03-31 12:32 GMT+03:00 Lucas Ferreira Mation <<a href="mailto:lucasmation@gmail.com">lucasmation@gmail.com</a>>:<br>
>> ><br>
>> > Prezados,<br>
>> ><br>
>> > Sou economista e trabalho no IPEA, entre outras coisas, com questões de<br>
>> > economia urbana e favelas. Sempre sentimos falta de uma base de dados<br>
>> > completa, precisa e gratuita de ruas, e outros atributos. Apenas<br>
>> > recentemente tive contato com o OSM e estou impressionado com a riqueza<br>
>> > de<br>
>> > informações disponíveis. O projeto e o trabalho de vocês é fantástico.<br>
>> ><br>
>> > Como tenho trabalhado com as bases de setor censitário e CNEFE do censo<br>
>> > 2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer<br>
>> > as<br>
>> > informações destas bases para dentro do OSM, ou como um rascunho-guia<br>
>> > para<br>
>> > pessoas validarem. Sugeri esta idéia no forum<br>
>> > e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads<br>
>> > com<br>
>> > idéias similares. Listo abaixo as informações que sei destas bases do<br>
>> > Censo<br>
>> > 2010, e depois minhas idéias sobre como poderiam ser<br>
>> > exploradas/mireradas:<br>
>> ><br>
>> > A) Setor censitário: são uma divisão do território para operacionalizar<br>
>> > a<br>
>> > coleta de informação no censo, tal que um setor seja  área de<br>
>> > responsabilidade de um único recenseador, com 250 a 350 domicílios em<br>
>> > áreas<br>
>> > urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns<br>
>> > poucos<br>
>> > quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão<br>
>> > em<br>
>> > áreas muito densas. São 316,5 mil setores em 2010.<br>
>> > O IBGE fornece um shapefile para cada uf com os polígonos dos setores.<br>
>> > Além<br>
>> > disso o IBGE fornece uma base de dados com informações<br>
>> > demográficas e econômicas agregadas para os moradores de cada setor<br>
>> > censitário. O grau de precisão destes shapes varia de cidade para<br>
>> > cidade.<br>
>> ><br>
>> > B) Base de quarteirões/quadras: o IBGE também dispõem internamente de<br>
>> > uma<br>
>> > base de dados de quarteirões, entretanto esta base, em formato digital<br>
>> > não é<br>
>> > divulgada. Aprendi com o projeto IBGEtools (muito bacana por sinal), que<br>
>> > imagens dos quarteirões de cada setor estão dispníveis em PDF no site do<br>
>> > IBGE.<br>
>><br>
>> Bom mesmo se eles liberassem estes mapas que eles usaram para gerar os<br>
>> PDFs. O que o IBGETools faz é um hack e o resultado final só serve<br>
>> como referência, principalmente para pegar os nomes das ruas.<br>
>><br>
>> No momento estou gerando layers para todos os estados, o pessoal do<br>
>> Mapbox ofereceu storage para os tiles.<br>
>><br>
>> ><br>
>> > C) CNEFE  : lista os endereços de todos os domicílios recenseados = 81<br>
>> > milhões de observações. Para os domicílios rurais são incluídas as<br>
>> > coordenadas do domicílio. Para os urbanos é indicado o setor censitário<br>
>> > (localização conhecida pelo item A).  Também são indicados o quarteirão<br>
>> > e<br>
>> > face de quarteirão, cujo shape eles não divulgam mas que cuja numeração<br>
>> > segue uma contagem seguencial dentro do setor (acho que no sentido<br>
>> > horário).<br>
>> ><br>
>> > Dado isso, listo as coisas dúvidas  que penso que podem ser feitas e as<br>
>> > dúvidas associadas:<br>
>> ><br>
>> > 0) medir imprecisão dos shapes de setor censitário: acho que este<br>
>> > diagnóstico seria a primeira coisa a ser feita seria, para ter uma idéia<br>
>> > do<br>
>> > grau de erro deste dado em cada cidade.  Já foi feito alguma estimativa<br>
>> > do<br>
>> > tipo ? Alguma tentativa de corrigir os shapes de setor censitário? Digo<br>
>> > isso<br>
>> > porque as idéias subsequentes, na maioria usam o shape de setores para<br>
>> > juntar espacialmente os dados.<br>
>> ><br>
>> > 1) Comparar listas de ruas CNEFE vs. OSM para ver o grau de coberturado<br>
>> > OSM:<br>
>> > , conforme proposto/implementado para o Brasil (aqui1 e aqui2) e<br>
>> > Alemanha<br>
>> > (aqui). Esta comparação pode ser feita em diversas escalas (município,<br>
>> > distrito, subdistrito e até setor (supoondo mapas compatíveis) na forma<br>
>> > de<br>
>> > tabela ou de um heatmap. Aliás, baixei o shape de ruas do Brasil do OSM<br>
>> > mas<br>
>> > não vem com informação de município ou nenhuma indicação geográfica.Como<br>
>> > obtenho isso nos shapes do OSM? ou preciso eu mesmo cruzar com um shape<br>
>> > de<br>
>> > municípios no qgis?<br>
>> ><br>
>> >  2) Dado este paramento,  o CNEFE poderia ser usado para corrigir typos<br>
>> > dos<br>
>> > nomes de ruas no OSM, ou pelo menos sugerir correções. (neste caso seria<br>
>> > bom<br>
>> > fazer um matching probalistico/fuzzy dos nomes).<br>
>> ><br>
>> > 3) Criar traçados de ruas a partir de CNEFE+shape-setores. Conforme<br>
>> > descrito<br>
>> > no post no forum, sabendo que a rua passa dentro de um conjunto de<br>
>> > setores<br>
>> > seria possível esboçar o trajeto da rua, ou uma área no meio da qual<br>
>> > sabemos<br>
>> > que ela passa, o que poderia servir de guia para os mapeadores.<br>
>><br>
>> Como você pretende fazer isso?<br>
>><br>
>> Eu acho que o que dá para fazer é pegar as informações dos traces já<br>
>> existentes no OSM e cruzar com os setores que ele faz intercessão e<br>
>> tentar achar os possíveis nomes para a rua baseado no CNEFE. Eu<br>
>> implementaria isto como um plugin no JOSM, e o mapeador ainda teria<br>
>> que confirmar manualmente para cada rua, dado que a qualidade dos<br>
>> dados no CNEFE é beeeem questionável.<br>
>><br>
>> ><br>
>> > 4) Pareamento de quarteirões e faces de quarteirão do CNEFE e do OSM em<br>
>> > áreas já mapeadas. Supondo que o perímetro do setor seja conhecido<br>
>> > (shape-setor seja preciso) deve ser possível identificar qual quarteirão<br>
>> > do<br>
>> > CNEFE corresponde a qual quarteirão do OSMs. Sendo assim seria possível<br>
>> > adicionar toda a estrutura de números de rua do CNEFE ao OSM.<br>
>> ><br>
>> > Enfim, estas são a idéias mais preliminares, espero que o email não<br>
>> > tenha<br>
>> > ficado longo demais. Queria ver o que o pessoal acha delas e se alguém<br>
>> > se<br>
>> > anima a ajudar. Tenho algumas idéias sobre algoritmos, etc para fazer<br>
>> > estes<br>
>> > cruzamentos, mas não sei python, detalhes do OSM , etc para implementa<br>
>> > tudo<br>
>> > num código na web.<br>
>> ><br>
>> > abraço<br>
>> > Lucas<br>
>> ><br>
>> > _______________________________________________<br>
>> > Talk-br mailing list<br>
>> > <a href="mailto:Talk-br@openstreetmap.org">Talk-br@openstreetmap.org</a><br>
>> > <a href="https://lists.openstreetmap.org/listinfo/talk-br" target="_blank">https://lists.openstreetmap.org/listinfo/talk-br</a><br>
>> ><br>
>><br>
>> _______________________________________________<br>
>> Talk-br mailing list<br>
>> <a href="mailto:Talk-br@openstreetmap.org">Talk-br@openstreetmap.org</a><br>
>> <a href="https://lists.openstreetmap.org/listinfo/talk-br" target="_blank">https://lists.openstreetmap.org/listinfo/talk-br</a><br>
><br>
><br>
><br>
> _______________________________________________<br>
> Talk-br mailing list<br>
> <a href="mailto:Talk-br@openstreetmap.org">Talk-br@openstreetmap.org</a><br>
> <a href="https://lists.openstreetmap.org/listinfo/talk-br" target="_blank">https://lists.openstreetmap.org/listinfo/talk-br</a><br>
><br>
<br>
_______________________________________________<br>
Talk-br mailing list<br>
<a href="mailto:Talk-br@openstreetmap.org">Talk-br@openstreetmap.org</a><br>
<a href="https://lists.openstreetmap.org/listinfo/talk-br" target="_blank">https://lists.openstreetmap.org/listinfo/talk-br</a><br>
</div></div></blockquote></div><br></div>