[Talk-br] RES: RES: RES: Restrição de Conversão e além

Fernando Trebien fernando.trebien em gmail.com
Terça Outubro 29 21:23:36 UTC 2013


Acho que vi um pessoal discutindo sobre essa base na lista uns dias
atrás, definitivamente é bem interessante. Mesmo desatualizado, não
deve ter sofrido muitas mudanças desde então.

2013/10/29 Reinaldo Neves <rneves em equacao.com.br>:
> O Correio não tem uma licença do tipo, apenas lista no próprio site o que
> autoriza a ser feito com cada tipo de licença do DNE, loucura pior ainda tem
> uma licença básica e uma máster cuja única diferença é o número de
> atualizações entregues no ano em que definem valores diferentes e o que você
> pode fazer ou não com ela, apesar do conteúdo dos arquivos ser o mesmo.
>
> Os scripts python podem ajudar, apesar de meu conhecimento python não ser de
> alto nível, uma outra alternativa que me ocorreu é eu te repassar os dados
> que possuo do CNEFE (IBGE) utilizados no censo 2010, para estes sei que não
> existe nenhuma restrição, mas não da para garantir a confiabilidade de todos
> os CEPs, no restante das informações é até melhor que o correio, pois o
> CNEFE tem dados de logradouros em cidades de CEP Único coisa que o correio
> não fornece.
>
> Reinaldo
>
>
>
> -----Mensagem original-----
> De: Fernando Trebien [mailto:fernando.trebien em gmail.com]
> Enviada em: terça-feira, 29 de outubro de 2013 18:43
> Para: OSM talk-br
> Assunto: Re: [Talk-br] RES: RES: Restrição de Conversão e além
>
> Por isso que não estudei Direito, isso não faz sentido algum. :P Se entendi
> bem, você não pode nos dar uma cópia da sua base do DNE, mas está autorizado
> a processar a base do OSM de forma a produzir essencialmente uma cópia dos
> dados do DNE.
>
> Note que os dados do OSM são licenciados sob a ODbL, o que permite a
> terceiros venderem a informação do OSM desde que façam a devida atribuição.
> Acho que você já verificou que isso é compatível com a sua licença do DNE,
> mas vale lembrar. O ideal seria que você nos mandasse uma cópia digitalizada
> dessa licença (com o seu nome e tal) para o caso de um dia nos questionarem
> a respeito. Me parece que a OSMF tem coletado licenças assim ao se fazer
> importações de grandes volumes de informação.
>
> Se você não pode nos passar uma cópia dos nomes das ruas da cidade, o que eu
> posso fazer é lhe passar um script em Python com várias coisas prontas para
> você adaptar como precisar. Daí o trabalho estaria todo nas suas mãos e
> seria (pelo que entendi) legalizado.
>
> 2013/10/29 Reinaldo Neves <rneves em equacao.com.br>:
>> Fernando,
>>
>> Eu realmente possuo a base de dados do DNE referência 2013-08
>> devidamente licenciada para efetuar processamento de bases de dados
>> visando: Validar, higienizar e eliminar duplicidades de registros de
> cadastros de endereços.
>> Para isso utilizamos um software de desenvolvimento próprio e
>> prestamos este serviço para diversos clientes da empresa onde trabalho.
>>
>> Por restrição da licença de uso dos próprios correios eu não posso
>> ceder essa base de dados a terceiros, mas qualquer arquivo que eu
>> venha a processar pode receber essas informações resultantes sem
> problemas.
>> Inclusive já executamos este processo para algumas empresas de
>> mapeamento e elas utilizam o resultado desse processamento normalmente.
>>
>> Evidente que não estou propondo 'vender' essa prestação de serviços
>> para o OSM, seria apenas uma contribuição da minha parte ao projeto.
>> Como muitos me sinto incomodado com a apropriação que algumas
>> entidades fazem de informação que deveria ser pública para depois
>> impor preço de venda e restrições de uso.
>>
>> Veja eu presto serviços de manutenção de cadastros desde que o correio
>> publicava e distribuía o Guia Postal Brasileiro com o intuito de
>> melhorar a qualidade de endereçamento das correspondência e agilizar o
>> processo de triagem eletrônica, em 2005 eles simplesmente trocaram o
>> nome para Diretório Nacional de Endereços, passaram a cobrar valores
>> estratosféricos por isso e impor restrições ao uso.  Infelizmente
>> depois vim a descobrir que esta foi uma manobra para de alguém
>> apadrinhado querendo eliminar concorrência e isso realmente tirou algumas
> empresas do mercado, não todas felizmente.  Em 2010
>> o correio alterou a politica de licenciamento do DNE   e com isso voltamos
> a
>> operar normalmente o processo de Auditoria de Endereços, hoje não
>> tenho mais que reportar a eles para quem efetuo o processo, ou a
>> quantidade de endereços ou mesmo quanto recebo ou deixo de receber pelo
> meu serviço.
>>
>> Assim se for de interesse basta me enviar uma tabela com um
>> identificador do registro, o nome do logradouro, bairro, cidade,
>> estado e cep, quanto mais informação melhor para fazer o cruzamento
>> com o DNE, que consigo devolver o equivalente dessas informações no
>> DNE.  Evidente que existem diferenças de grafia em nome de logradouros
>> e principalmente bairros, mas este processo poderia resolver grande
>> parte dos problemas de tipo de logradouros mencionados pelo Marcelo,
>> aqueles que não forem identificados permanecem em branco para edição
> posterior.
>>
>> Em também posso ao final do processo devolver no arquivo a informação
>> original OSM e a correspondente encontrada no arquivo do DNE, e com
>> seu conhecimento você poderia decidir qual informação sobe ou não para
>> o banco de dados OSM.
>>
>> Se quiser pode inclusive me enviar um arquivo de teste, para ver se o
>> resultado é utilizável para o projeto.
>>
>> Abraços
>>
>> Reinaldo Neves
>>
>>
>> -----Mensagem original-----
>> De: Fernando Trebien [mailto:fernando.trebien em gmail.com]
>> Enviada em: terça-feira, 29 de outubro de 2013 15:16
>> Para: OSM talk-br
>> Assunto: Re: [Talk-br] RES: Restrição de Conversão e além
>>
>> Deixa eu ver se eu entendi. Você tem uma lista (textual?) de nomes de
>> logradouros (que veio da base dos Correios) e quer usá-la para
>> modificar os nomes atuais das ruas no OSM, acrescentando o prefixo
>> correto a cada uma, certo?
>>
>> Se você me passar essa lista, provavelmente posso adaptar meus scripts
>> para automatizar o processo. O script falharia onde o nome no OSM
>> divergir do nome na base dos Correios (por problemas de digitação ou
>> simplesmente por não existir na base), mas é provável que sejam poucos
>> os casos e que possam ser tratados manualmente.
>>
>> Agora uma das questões é se podemos usar os dados dos Correios dessa
>> forma, se isso não seria considerado algum tipo de obra derivada. Eu
>> acho que não, mas alguns poderiam interpretar que sim.
>>
>> 2013/10/29 Reinaldo Neves <rneves em equacao.com.br>:
>>> Bom dia Fernando,
>>>
>>> Infelizmente creio que a coisa não seja tão simples, trabalho com
>>> auditoria e validação de endereços e fiz uma verificação na minha
>>> base de referência de recife em relação aos tipos de logradouros
>>> utilizados na cidade, segue abaixo o resultado.
>>>
>>> Mesmo sendo maior volume de logradouros com tipo Rua há um universo
>>> razoável para outros tipos de logradouro, sendo o principal problema
>>> as travessas.  A tabela abaixo segue as especificações dos Correios e
>>> as quantidades podem ter pequena variação em função de separação de
>>> faixas de numeração por CEP mas no geral é isso.
>>>
>>> Se for possível extrair os dados e depois devolve-los em lote (
>>> infelizmente ainda não tenho conhecimento suficiente para esse tipo
>>> de
>>> operação) posso processar essas informações e atribuir os tipos de
>>> logradouro, quando houver absoluta certeza da informação, com isso
>>> ficariam apenas os endereços duvidosos a serem verificados
> posteriormente.
>>>
>>> Reinaldo Neves
>>>
>>> R       9002
>>> TV      593
>>> AV      542
>>> 1TV     349
>>> 2TV     331
>>> PC      174
>>> 3TV     158
>>> 4TV     87
>>> VL      49
>>> 5TV     46
>>> EST     46
>>> SUB     37
>>> 6TV     28
>>> CRG     20
>>> 8TV     19
>>> 1SUB    18
>>> LRG     17
>>> 7TV     13
>>> 2SUB    12
>>> BC      11
>>> 3SUB    10
>>> AT      10
>>> C       10
>>> Q       6
>>> 9TV     4
>>> PAR     4
>>> 4SUB    3
>>> CJ      3
>>> DSC     3
>>> LD      3
>>> ROD     3
>>> 10TV    2
>>> 1PAR    2
>>> 1R      2
>>> 2R      2
>>> 5SUB    2
>>> FAV     2
>>> 2PAR    1
>>> 3PAR    1
>>> 3R      1
>>> 4R      1
>>> 6SUB    1
>>> ESCAD   1
>>> LOT     1
>>> PAT     1
>>> PRL     1
>>> PRQ     1
>>> SIT     1
>>>
>>>
>>> -----Mensagem original-----
>>> De: Fernando Trebien [mailto:fernando.trebien em gmail.com]
>>> Enviada em: segunda-feira, 28 de outubro de 2013 19:48
>>> Para: OSM talk-br
>>> Assunto: Re: [Talk-br] Restrição de Conversão e além
>>>
>>> Se você quiser, posso ajudar a automatizar a inserção de um prefixo "Rua
> "
>>> nos nomes atuais. O ideal seria você alterar aquilo que é "avenida"
>>> (geralmente são poucas, deve lhe dar pouco trabalho) e deixar as ruas
>>> restantes para que o script complete. Daí é só me avisar qual a área
>>> a ser processada.
>>>
>>> Ou... posso acrescentar o prefixo em tudo que não começa com Rua nem
>>> Avenida (nem com outros prefixos comuns), e você conserta os erros
>>> depois à medida que vai descobrindo.
>>>
>>> 2013/10/28 Marcelo Pereira <pereiraholder em gmail.com>:
>>>> Obrigado Arlindo, Fernando, pelas dicas, assim que o tempo e os
>>>> neurônios permitirem, eu tentarei aprender mais.
>>>>
>>>> Gerald,
>>>>
>>>> Eu tenho acompanhado essa lista como ouvinte, e li alguns posts
>>>> relatando o problema que vc citou.
>>>>
>>>> Mas o que eu me referi na msg não é este caso, é que percebi muitas
>>>> vias sem a "classificação" de rua, avenida, etc, por exemplo, Rua da
>>>> Aurora, escrito somente Aurora, e por aí vai.
>>>>
>>>> Dai, comparando com o TRC, eu pensei que poderia carregar uma parte
>>>> do mapa, editar e devolver ao OSM.
>>>>
>>>> Att,
>>>>
>>>> Marcelo Pereira
>>>>
>>>>
>>>> Em 28 de outubro de 2013 15:32, Gerald Weber <gweberbh em gmail.com>
>>> escreveu:
>>>>>
>>>>> Oi Marcelo
>>>>>
>>>>>
>>>>> 2013/10/26 Marcelo Pereira <pereiraholder em gmail.com>
>>>>>>
>>>>>> Essa pergunta deriva de alguns fatos que venho observando no mapa
>>>>>> OSM da cidade onde moro, Recife, que precisaria de várias
>>>>>> atualizações, como incluir o nome "Rua" em quase todas as vias,
>>>>>> retirar
>>> abreviações, etc.
>>>>>> _______________________________________________
>>>>>>
>>>>>
>>>>> Não sei se entendi corretamente este comentário.
>>>>>
>>>>>
>>>>> Você quer incluir "Rua" simplesmente onde não há qualquer nome,
>>>>> como se faz no tracksource?
>>>>>
>>>>>
>>>>> Eu sei que no tracksource, do qual você já participou, colocam "Rua"
>>>>> sem nome nas vias. No OSM reservamos a tag name somente para o nome
>>>>> mesmo, não para a descrição. Então não deve haver ocorrências do
>>>>> tipo
>>> "name=Rua". OK?
>>>>>
>>>>>
>>>>> Inclusive temos usado ocorrências de "name=Rua" para detetar, e
>>>>> lamentavelmente apagar, importações não-autorizadas vindos do
>>> Tracksource.
>>>>>
>>>>>
>>>>> Isto é importante porque a tag "name" é usada para construir o
>>>>> índice de nomes que podem ser usadas nas buscas. Ter um índice com
>>>>> milhares de ruas chamadas somente de "Rua" seria completamente inútil.
>>>>>
>>>>>
>>>>> Agora, se sua preocupação é descrever que se trata de uma rua (e
>>>>> não uma rodovia, por exemplo), isto é feito pela tag highway. No
>>>>> caso highway=residential para ruas residenciais.
>>>>>
>>>>>
>>>>> abraço
>>>>>
>>>>>
>>>>> Gerald
>>>>>
>>>>>
>>>>>
>>>>> _______________________________________________
>>>>> Talk-br mailing list
>>>>> Talk-br em openstreetmap.org
>>>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>>>
>>>>
>>>>
>>>>
>>>> --
>>>> -
>>>> TImbuSérieA2013
>>>>
>>>> _______________________________________________
>>>> Talk-br mailing list
>>>> Talk-br em openstreetmap.org
>>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>>
>>>
>>>
>>>
>>> --
>>> Fernando Trebien
>>> +55 (51) 9962-5409
>>>
>>> "The speed of computer chips doubles every 18 months." (Moore's law)
>>> "The speed of software halves every 18 months." (Gates' law)
>>>
>>> _______________________________________________
>>> Talk-br mailing list
>>> Talk-br em openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>> _______________________________________________
>>> Talk-br mailing list
>>> Talk-br em openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>>
>> --
>> Fernando Trebien
>> +55 (51) 9962-5409
>>
>> "The speed of computer chips doubles every 18 months." (Moore's law)
>> "The speed of software halves every 18 months." (Gates' law)
>>
>> _______________________________________________
>> Talk-br mailing list
>> Talk-br em openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>> _______________________________________________
>> Talk-br mailing list
>> Talk-br em openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>
>
>
> --
> Fernando Trebien
> +55 (51) 9962-5409
>
> "The speed of computer chips doubles every 18 months." (Moore's law)
> "The speed of software halves every 18 months." (Gates' law)
>
> _______________________________________________
> Talk-br mailing list
> Talk-br em openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
> _______________________________________________
> Talk-br mailing list
> Talk-br em openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br



-- 
Fernando Trebien
+55 (51) 9962-5409

"The speed of computer chips doubles every 18 months." (Moore's law)
"The speed of software halves every 18 months." (Gates' law)



Mais detalhes sobre a lista de discussão Talk-br