[Talk-br] RES: RES: RES: Restrição de Conversão e além

Reinaldo Neves rneves em equacao.com.br
Terça Outubro 29 21:17:17 UTC 2013


O Correio não tem uma licença do tipo, apenas lista no próprio site o que
autoriza a ser feito com cada tipo de licença do DNE, loucura pior ainda tem
uma licença básica e uma máster cuja única diferença é o número de
atualizações entregues no ano em que definem valores diferentes e o que você
pode fazer ou não com ela, apesar do conteúdo dos arquivos ser o mesmo.  

Os scripts python podem ajudar, apesar de meu conhecimento python não ser de
alto nível, uma outra alternativa que me ocorreu é eu te repassar os dados
que possuo do CNEFE (IBGE) utilizados no censo 2010, para estes sei que não
existe nenhuma restrição, mas não da para garantir a confiabilidade de todos
os CEPs, no restante das informações é até melhor que o correio, pois o
CNEFE tem dados de logradouros em cidades de CEP Único coisa que o correio
não fornece. 

Reinaldo



-----Mensagem original-----
De: Fernando Trebien [mailto:fernando.trebien em gmail.com] 
Enviada em: terça-feira, 29 de outubro de 2013 18:43
Para: OSM talk-br
Assunto: Re: [Talk-br] RES: RES: Restrição de Conversão e além

Por isso que não estudei Direito, isso não faz sentido algum. :P Se entendi
bem, você não pode nos dar uma cópia da sua base do DNE, mas está autorizado
a processar a base do OSM de forma a produzir essencialmente uma cópia dos
dados do DNE.

Note que os dados do OSM são licenciados sob a ODbL, o que permite a
terceiros venderem a informação do OSM desde que façam a devida atribuição.
Acho que você já verificou que isso é compatível com a sua licença do DNE,
mas vale lembrar. O ideal seria que você nos mandasse uma cópia digitalizada
dessa licença (com o seu nome e tal) para o caso de um dia nos questionarem
a respeito. Me parece que a OSMF tem coletado licenças assim ao se fazer
importações de grandes volumes de informação.

Se você não pode nos passar uma cópia dos nomes das ruas da cidade, o que eu
posso fazer é lhe passar um script em Python com várias coisas prontas para
você adaptar como precisar. Daí o trabalho estaria todo nas suas mãos e
seria (pelo que entendi) legalizado.

2013/10/29 Reinaldo Neves <rneves em equacao.com.br>:
> Fernando,
>
> Eu realmente possuo a base de dados do DNE referência 2013-08 
> devidamente licenciada para efetuar processamento de bases de dados 
> visando: Validar, higienizar e eliminar duplicidades de registros de
cadastros de endereços.
> Para isso utilizamos um software de desenvolvimento próprio e 
> prestamos este serviço para diversos clientes da empresa onde trabalho.
>
> Por restrição da licença de uso dos próprios correios eu não posso 
> ceder essa base de dados a terceiros, mas qualquer arquivo que eu 
> venha a processar pode receber essas informações resultantes sem
problemas.
> Inclusive já executamos este processo para algumas empresas de 
> mapeamento e elas utilizam o resultado desse processamento normalmente.
>
> Evidente que não estou propondo 'vender' essa prestação de serviços 
> para o OSM, seria apenas uma contribuição da minha parte ao projeto.  
> Como muitos me sinto incomodado com a apropriação que algumas 
> entidades fazem de informação que deveria ser pública para depois 
> impor preço de venda e restrições de uso.
>
> Veja eu presto serviços de manutenção de cadastros desde que o correio 
> publicava e distribuía o Guia Postal Brasileiro com o intuito de 
> melhorar a qualidade de endereçamento das correspondência e agilizar o 
> processo de triagem eletrônica, em 2005 eles simplesmente trocaram o 
> nome para Diretório Nacional de Endereços, passaram a cobrar valores 
> estratosféricos por isso e impor restrições ao uso.  Infelizmente 
> depois vim a descobrir que esta foi uma manobra para de alguém 
> apadrinhado querendo eliminar concorrência e isso realmente tirou algumas
empresas do mercado, não todas felizmente.  Em 2010
> o correio alterou a politica de licenciamento do DNE   e com isso voltamos
a
> operar normalmente o processo de Auditoria de Endereços, hoje não 
> tenho mais que reportar a eles para quem efetuo o processo, ou a 
> quantidade de endereços ou mesmo quanto recebo ou deixo de receber pelo
meu serviço.
>
> Assim se for de interesse basta me enviar uma tabela com um 
> identificador do registro, o nome do logradouro, bairro, cidade, 
> estado e cep, quanto mais informação melhor para fazer o cruzamento 
> com o DNE, que consigo devolver o equivalente dessas informações no 
> DNE.  Evidente que existem diferenças de grafia em nome de logradouros 
> e principalmente bairros, mas este processo poderia resolver grande 
> parte dos problemas de tipo de logradouros mencionados pelo Marcelo, 
> aqueles que não forem identificados permanecem em branco para edição
posterior.
>
> Em também posso ao final do processo devolver no arquivo a informação 
> original OSM e a correspondente encontrada no arquivo do DNE, e com 
> seu conhecimento você poderia decidir qual informação sobe ou não para 
> o banco de dados OSM.
>
> Se quiser pode inclusive me enviar um arquivo de teste, para ver se o 
> resultado é utilizável para o projeto.
>
> Abraços
>
> Reinaldo Neves
>
>
> -----Mensagem original-----
> De: Fernando Trebien [mailto:fernando.trebien em gmail.com]
> Enviada em: terça-feira, 29 de outubro de 2013 15:16
> Para: OSM talk-br
> Assunto: Re: [Talk-br] RES: Restrição de Conversão e além
>
> Deixa eu ver se eu entendi. Você tem uma lista (textual?) de nomes de 
> logradouros (que veio da base dos Correios) e quer usá-la para 
> modificar os nomes atuais das ruas no OSM, acrescentando o prefixo 
> correto a cada uma, certo?
>
> Se você me passar essa lista, provavelmente posso adaptar meus scripts 
> para automatizar o processo. O script falharia onde o nome no OSM 
> divergir do nome na base dos Correios (por problemas de digitação ou 
> simplesmente por não existir na base), mas é provável que sejam poucos 
> os casos e que possam ser tratados manualmente.
>
> Agora uma das questões é se podemos usar os dados dos Correios dessa 
> forma, se isso não seria considerado algum tipo de obra derivada. Eu 
> acho que não, mas alguns poderiam interpretar que sim.
>
> 2013/10/29 Reinaldo Neves <rneves em equacao.com.br>:
>> Bom dia Fernando,
>>
>> Infelizmente creio que a coisa não seja tão simples, trabalho com 
>> auditoria e validação de endereços e fiz uma verificação na minha 
>> base de referência de recife em relação aos tipos de logradouros 
>> utilizados na cidade, segue abaixo o resultado.
>>
>> Mesmo sendo maior volume de logradouros com tipo Rua há um universo 
>> razoável para outros tipos de logradouro, sendo o principal problema 
>> as travessas.  A tabela abaixo segue as especificações dos Correios e 
>> as quantidades podem ter pequena variação em função de separação de 
>> faixas de numeração por CEP mas no geral é isso.
>>
>> Se for possível extrair os dados e depois devolve-los em lote ( 
>> infelizmente ainda não tenho conhecimento suficiente para esse tipo 
>> de
>> operação) posso processar essas informações e atribuir os tipos de 
>> logradouro, quando houver absoluta certeza da informação, com isso 
>> ficariam apenas os endereços duvidosos a serem verificados
posteriormente.
>>
>> Reinaldo Neves
>>
>> R       9002
>> TV      593
>> AV      542
>> 1TV     349
>> 2TV     331
>> PC      174
>> 3TV     158
>> 4TV     87
>> VL      49
>> 5TV     46
>> EST     46
>> SUB     37
>> 6TV     28
>> CRG     20
>> 8TV     19
>> 1SUB    18
>> LRG     17
>> 7TV     13
>> 2SUB    12
>> BC      11
>> 3SUB    10
>> AT      10
>> C       10
>> Q       6
>> 9TV     4
>> PAR     4
>> 4SUB    3
>> CJ      3
>> DSC     3
>> LD      3
>> ROD     3
>> 10TV    2
>> 1PAR    2
>> 1R      2
>> 2R      2
>> 5SUB    2
>> FAV     2
>> 2PAR    1
>> 3PAR    1
>> 3R      1
>> 4R      1
>> 6SUB    1
>> ESCAD   1
>> LOT     1
>> PAT     1
>> PRL     1
>> PRQ     1
>> SIT     1
>>
>>
>> -----Mensagem original-----
>> De: Fernando Trebien [mailto:fernando.trebien em gmail.com]
>> Enviada em: segunda-feira, 28 de outubro de 2013 19:48
>> Para: OSM talk-br
>> Assunto: Re: [Talk-br] Restrição de Conversão e além
>>
>> Se você quiser, posso ajudar a automatizar a inserção de um prefixo "Rua
"
>> nos nomes atuais. O ideal seria você alterar aquilo que é "avenida"
>> (geralmente são poucas, deve lhe dar pouco trabalho) e deixar as ruas 
>> restantes para que o script complete. Daí é só me avisar qual a área 
>> a ser processada.
>>
>> Ou... posso acrescentar o prefixo em tudo que não começa com Rua nem 
>> Avenida (nem com outros prefixos comuns), e você conserta os erros 
>> depois à medida que vai descobrindo.
>>
>> 2013/10/28 Marcelo Pereira <pereiraholder em gmail.com>:
>>> Obrigado Arlindo, Fernando, pelas dicas, assim que o tempo e os 
>>> neurônios permitirem, eu tentarei aprender mais.
>>>
>>> Gerald,
>>>
>>> Eu tenho acompanhado essa lista como ouvinte, e li alguns posts 
>>> relatando o problema que vc citou.
>>>
>>> Mas o que eu me referi na msg não é este caso, é que percebi muitas 
>>> vias sem a "classificação" de rua, avenida, etc, por exemplo, Rua da 
>>> Aurora, escrito somente Aurora, e por aí vai.
>>>
>>> Dai, comparando com o TRC, eu pensei que poderia carregar uma parte 
>>> do mapa, editar e devolver ao OSM.
>>>
>>> Att,
>>>
>>> Marcelo Pereira
>>>
>>>
>>> Em 28 de outubro de 2013 15:32, Gerald Weber <gweberbh em gmail.com>
>> escreveu:
>>>>
>>>> Oi Marcelo
>>>>
>>>>
>>>> 2013/10/26 Marcelo Pereira <pereiraholder em gmail.com>
>>>>>
>>>>> Essa pergunta deriva de alguns fatos que venho observando no mapa 
>>>>> OSM da cidade onde moro, Recife, que precisaria de várias 
>>>>> atualizações, como incluir o nome "Rua" em quase todas as vias, 
>>>>> retirar
>> abreviações, etc.
>>>>> _______________________________________________
>>>>>
>>>>
>>>> Não sei se entendi corretamente este comentário.
>>>>
>>>>
>>>> Você quer incluir "Rua" simplesmente onde não há qualquer nome, 
>>>> como se faz no tracksource?
>>>>
>>>>
>>>> Eu sei que no tracksource, do qual você já participou, colocam "Rua"
>>>> sem nome nas vias. No OSM reservamos a tag name somente para o nome 
>>>> mesmo, não para a descrição. Então não deve haver ocorrências do 
>>>> tipo
>> "name=Rua". OK?
>>>>
>>>>
>>>> Inclusive temos usado ocorrências de "name=Rua" para detetar, e 
>>>> lamentavelmente apagar, importações não-autorizadas vindos do
>> Tracksource.
>>>>
>>>>
>>>> Isto é importante porque a tag "name" é usada para construir o 
>>>> índice de nomes que podem ser usadas nas buscas. Ter um índice com 
>>>> milhares de ruas chamadas somente de "Rua" seria completamente inútil.
>>>>
>>>>
>>>> Agora, se sua preocupação é descrever que se trata de uma rua (e 
>>>> não uma rodovia, por exemplo), isto é feito pela tag highway. No 
>>>> caso highway=residential para ruas residenciais.
>>>>
>>>>
>>>> abraço
>>>>
>>>>
>>>> Gerald
>>>>
>>>>
>>>>
>>>> _______________________________________________
>>>> Talk-br mailing list
>>>> Talk-br em openstreetmap.org
>>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>>
>>>
>>>
>>>
>>> --
>>> -
>>> TImbuSérieA2013
>>>
>>> _______________________________________________
>>> Talk-br mailing list
>>> Talk-br em openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>
>>
>>
>> --
>> Fernando Trebien
>> +55 (51) 9962-5409
>>
>> "The speed of computer chips doubles every 18 months." (Moore's law) 
>> "The speed of software halves every 18 months." (Gates' law)
>>
>> _______________________________________________
>> Talk-br mailing list
>> Talk-br em openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>> _______________________________________________
>> Talk-br mailing list
>> Talk-br em openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>
>
>
> --
> Fernando Trebien
> +55 (51) 9962-5409
>
> "The speed of computer chips doubles every 18 months." (Moore's law) 
> "The speed of software halves every 18 months." (Gates' law)
>
> _______________________________________________
> Talk-br mailing list
> Talk-br em openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
> _______________________________________________
> Talk-br mailing list
> Talk-br em openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br



--
Fernando Trebien
+55 (51) 9962-5409

"The speed of computer chips doubles every 18 months." (Moore's law)
"The speed of software halves every 18 months." (Gates' law)

_______________________________________________
Talk-br mailing list
Talk-br em openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br




Mais detalhes sobre a lista de discussão Talk-br