[Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

Sábado Abril 5 16:21:45 UTC 2014

Oi Pessoal,

Minha resposta demorou um pouco porque a vida real, incluindo o trabalho 
me manteve longe do OSM.

Estou em contato com o mapeador alemão Dietmar [1] o qual eu encontrei 
no evento OSM em Berlim. Ele já tem um sistema online que apresenta 
comparações entre listas oficiais de ruas e as ruas mapeadas no OSM. 
Para quem entende um pouco de alemão: a palestra dele em Berlim está 
disponivel no Youtube [2]

A cobertura do sistema dele era: Alemanha, Austria, Suiça e Luxembourgo. 
Agora, ele importou os dados IBGE/CNEFE do RS.  Um resultado daquela 
importação é o "Heat Map" do RS [3]. (Tem que ter ums segundinhhos de 
paciencia).

Clique num município e segue o link "Auswertung". Você encontrara as 
estatísticas do município, por exemplo Ivoti [4]. Você até pode escolher 
"Português do Brasil" (= Português do Hermann ;-) como lingua da página. 
Infelizmente, tem ainda problemas com as páginas dos municípios que tem 
acentos no nome.

O Dietmar faz um comparação simples: nome da rua segundo o CNEFE x nome 
OSM normalizado. Ele ainda não usa o algoritmo Levenshtein (ou outros) 
para descobrir nomes semelhantes.

Exemplo:

Nome da lista CNEFE "faltando" em Ivoti  = RUA JOAO W HOLDEFER
Nome somente conhecido pela lista do OSM = Rua João Walter Holdefer

O que você acha do "Heat Map" do Dietmar ?

Abraços, Hermann

[1] http://www.fossgis.de/konferenz/2014/programm/speakers/401.de.html
[2] https://www.youtube.com/watch?v=dA8tBsKZ6qY
[3] http://regio-osm.de/listofstreets/kartenansicht.html?file=BR
[4] http://regio-osm.de/listofstreets/evaluation?title=Ivoti&country=Brasil

On 2014-04-03 21:05, Thiago Marcos P. Santos wrote:
> 2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation <lucasmation em gmail.com>:
>> Thiago, vamos estreitar mais a conversa e iniciativas.
>>
>> Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
>> quarteirões só poderá ser liberado em 2015, se não me engano, pois os mapas
>> foram comprados de empresas de mapeamento comercial, então não poderiam
>> liberar antes de 2015. Parece que este foi um grande desapontamento por lá,
>> pois achavam que a qualidade destes mapas seria muito melhor do que era e
>> fato. Antes do Censo as equipes do IBGE foram a campo fazer o "arrolamento"
>> dos setores censitários, isto é, verificar as ruas, corrigindo diretamente
>> no PDA, e estimando o número de casas por setor. Acho que existiria grande
>> potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
>> enorme equipe deles para corrigir/complementar o OSM. Operacionalmente isso
>> é muito mais fácil do que ficar fazendo licitações, para comprar bases, etc.
>> Além disso já viria com uma série de aplicativos para fazer estas correções
>> no campo pela equipe deles.
>>
>> Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma idéia
>> do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,  10% ou
>> 50% das ruas estão erradas?
>
> Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos.
>
>> Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace é
>> baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
>> manualmente segmentar em ruas ou isso é feito de alguma forma automatizada?
>
> É um XML com vários meta dados.
> http://wiki.openstreetmap.org/wiki/OSM_XML
>
> Tem várias bibliotecas já prontas para fazer o processamento deste XML:
> http://wiki.openstreetmap.org/wiki/Frameworks
>
> Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o
> heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no
> dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas
> para incluir esta otimização de ruas que passam por múltiplas regiões
> censitárias.
>
> Conversando com um amigo alemão hoje, ele estava me falando como a
> "gamification" do OSM ajudou a melhor a situação dos mapas na
> Alemanha, já que todo mundo queria ver sua cidade "verde" no head map.
> :)
>
>> Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,
>> poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
>> CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores A,B,C e
>> D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e D ,
>> e não pela lista completa de ruas que passam por qualquer um deles.
>>
>>
>>
>> 4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import dos
>> números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
>> necessário parear as quadras e faces de quadras das com ruas já mapeadas e
>> nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?
>> Imagino algo assim:
>> Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de quadras do
>> OSM, onde cada quadra i é indexada pela lista de quarteirões que a compõem.
>> E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de ruas
>> do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser mais).
>> Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,
>> Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j e é
>> descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...}
>> Contanto que as ruas nas duas bases estejam com nomes similares, estejam
>> pareadas, podemos formular um problema matemático, um sistema de equações
>> para determinar os pareamentos entre as quadras i e j (OSM e CNEFE). Claro,
>> isso não precisa ser feito com todas as quadras contra todas, basta cruzar
>> os subconjuntos de quadras em cada setor nas duas bases. Tendo feito este
>> pareamento, seria possível saber para cada face de quarteirão do CNEFE a
>> face de rua correspondente no OSM. Aí bastaria importar todos os endereços
>> daquela face, talvez validando primeiro para ver se a informação é
>> compatível com os endereços já incluidos no OSM daquela face.
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 2014-04-02 20:38 GMT-03:00 Thiago Marcos P. Santos <tmpsantos em gmail.com>:
>>
>>> 2014-03-31 12:32 GMT+03:00 Lucas Ferreira Mation <lucasmation em gmail.com>:
>>>>
>>>> Prezados,
>>>>
>>>> Sou economista e trabalho no IPEA, entre outras coisas, com questões de
>>>> economia urbana e favelas. Sempre sentimos falta de uma base de dados
>>>> completa, precisa e gratuita de ruas, e outros atributos. Apenas
>>>> recentemente tive contato com o OSM e estou impressionado com a riqueza
>>>> de
>>>> informações disponíveis. O projeto e o trabalho de vocês é fantástico.
>>>>
>>>> Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
>>>> 2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer
>>>> as
>>>> informações destas bases para dentro do OSM, ou como um rascunho-guia
>>>> para
>>>> pessoas validarem. Sugeri esta idéia no forum
>>>> e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads
>>>> com
>>>> idéias similares. Listo abaixo as informações que sei destas bases do
>>>> Censo
>>>> 2010, e depois minhas idéias sobre como poderiam ser
>>>> exploradas/mireradas:
>>>>
>>>> A) Setor censitário: são uma divisão do território para operacionalizar
>>>> a
>>>> coleta de informação no censo, tal que um setor seja  área de
>>>> responsabilidade de um único recenseador, com 250 a 350 domicílios em
>>>> áreas
>>>> urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns
>>>> poucos
>>>> quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão
>>>> em
>>>> áreas muito densas. São 316,5 mil setores em 2010.
>>>> O IBGE fornece um shapefile para cada uf com os polígonos dos setores.
>>>> Além
>>>> disso o IBGE fornece uma base de dados com informações
>>>> demográficas e econômicas agregadas para os moradores de cada setor
>>>> censitário. O grau de precisão destes shapes varia de cidade para
>>>> cidade.
>>>>
>>>> B) Base de quarteirões/quadras: o IBGE também dispõem internamente de
>>>> uma
>>>> base de dados de quarteirões, entretanto esta base, em formato digital
>>>> não é
>>>> divulgada. Aprendi com o projeto IBGEtools (muito bacana por sinal), que
>>>> imagens dos quarteirões de cada setor estão dispníveis em PDF no site do
>>>> IBGE.
>>>
>>> Bom mesmo se eles liberassem estes mapas que eles usaram para gerar os
>>> PDFs. O que o IBGETools faz é um hack e o resultado final só serve
>>> como referência, principalmente para pegar os nomes das ruas.
>>>
>>> No momento estou gerando layers para todos os estados, o pessoal do
>>> Mapbox ofereceu storage para os tiles.
>>>
>>>>
>>>> C) CNEFE  : lista os endereços de todos os domicílios recenseados = 81
>>>> milhões de observações. Para os domicílios rurais são incluídas as
>>>> coordenadas do domicílio. Para os urbanos é indicado o setor censitário
>>>> (localização conhecida pelo item A).  Também são indicados o quarteirão
>>>> e
>>>> face de quarteirão, cujo shape eles não divulgam mas que cuja numeração
>>>> segue uma contagem seguencial dentro do setor (acho que no sentido
>>>> horário).
>>>>
>>>> Dado isso, listo as coisas dúvidas  que penso que podem ser feitas e as
>>>> dúvidas associadas:
>>>>
>>>> 0) medir imprecisão dos shapes de setor censitário: acho que este
>>>> diagnóstico seria a primeira coisa a ser feita seria, para ter uma idéia
>>>> do
>>>> grau de erro deste dado em cada cidade.  Já foi feito alguma estimativa
>>>> do
>>>> tipo ? Alguma tentativa de corrigir os shapes de setor censitário? Digo
>>>> isso
>>>> porque as idéias subsequentes, na maioria usam o shape de setores para
>>>> juntar espacialmente os dados.
>>>>
>>>> 1) Comparar listas de ruas CNEFE vs. OSM para ver o grau de coberturado
>>>> OSM:
>>>> , conforme proposto/implementado para o Brasil (aqui1 e aqui2) e
>>>> Alemanha
>>>> (aqui). Esta comparação pode ser feita em diversas escalas (município,
>>>> distrito, subdistrito e até setor (supoondo mapas compatíveis) na forma
>>>> de
>>>> tabela ou de um heatmap. Aliás, baixei o shape de ruas do Brasil do OSM
>>>> mas
>>>> não vem com informação de município ou nenhuma indicação geográfica.Como
>>>> obtenho isso nos shapes do OSM? ou preciso eu mesmo cruzar com um shape
>>>> de
>>>> municípios no qgis?
>>>>
>>>>   2) Dado este paramento,  o CNEFE poderia ser usado para corrigir typos
>>>> dos
>>>> nomes de ruas no OSM, ou pelo menos sugerir correções. (neste caso seria
>>>> bom
>>>> fazer um matching probalistico/fuzzy dos nomes).
>>>>
>>>> 3) Criar traçados de ruas a partir de CNEFE+shape-setores. Conforme
>>>> descrito
>>>> no post no forum, sabendo que a rua passa dentro de um conjunto de
>>>> setores
>>>> seria possível esboçar o trajeto da rua, ou uma área no meio da qual
>>>> sabemos
>>>> que ela passa, o que poderia servir de guia para os mapeadores.
>>>
>>> Como você pretende fazer isso?
>>>
>>> Eu acho que o que dá para fazer é pegar as informações dos traces já
>>> existentes no OSM e cruzar com os setores que ele faz intercessão e
>>> tentar achar os possíveis nomes para a rua baseado no CNEFE. Eu
>>> implementaria isto como um plugin no JOSM, e o mapeador ainda teria
>>> que confirmar manualmente para cada rua, dado que a qualidade dos
>>> dados no CNEFE é beeeem questionável.
>>>
>>>>
>>>> 4) Pareamento de quarteirões e faces de quarteirão do CNEFE e do OSM em
>>>> áreas já mapeadas. Supondo que o perímetro do setor seja conhecido
>>>> (shape-setor seja preciso) deve ser possível identificar qual quarteirão
>>>> do
>>>> CNEFE corresponde a qual quarteirão do OSMs. Sendo assim seria possível
>>>> adicionar toda a estrutura de números de rua do CNEFE ao OSM.
>>>>
>>>> Enfim, estas são a idéias mais preliminares, espero que o email não
>>>> tenha
>>>> ficado longo demais. Queria ver o que o pessoal acha delas e se alguém
>>>> se
>>>> anima a ajudar. Tenho algumas idéias sobre algoritmos, etc para fazer
>>>> estes
>>>> cruzamentos, mas não sei python, detalhes do OSM , etc para implementa
>>>> tudo
>>>> num código na web.
>>>>
>>>> abraço
>>>> Lucas
>>>>
>>>> _______________________________________________
>>>> Talk-br mailing list
>>>> Talk-br em openstreetmap.org
>>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>>
>>>
>>> _______________________________________________
>>> Talk-br mailing list
>>> Talk-br em openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>>
>> _______________________________________________
>> Talk-br mailing list
>> Talk-br em openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>