[Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

[Paulo Carvalho]

Não sei se o Pandas pode ler diretamente de uma base PostgreSQL, mas nada
impede de exportar os dados para um formato que o Pandas reconheça e daí
para os algoritmos de machine learning.

Em 9 de agosto de 2018 10:08, Peter Krauss <ppkrauss em gmail.com> escreveu:

> Oi Paulo, boas dicas de clusterização, comunidade Python realmente criou
> ferramentas poderosas ...
> Quando ao OSM, bom lembrar que o XML é só um formato de troca de dados, as
> representações geométricas do OSM usualmente são feitas em PostGIS.
> Aqui vai um exemplo meio caduco, um dos poucos que clientes permitiram eu
> doar para o mundo, 6 anos atrás..
>
>    https://gist.github.com/ppKrauss/3810651
>
> Faz justamente a detecção de "quadras mais pra quadriláteras" via
> operações espaciais (ex. buffer) onde o PostGIS é eficaz.
> Usei para destacar em espaço urbano os locais onde precisávamos conferir
> se as calçadas eram bem traçadas, e os erros mais usuais seram
> nas quadras fora do "padrao quadradinho".
>
>
>
>
> On Thu, Aug 9, 2018 at 8:32 AM Paulo Carvalho <
> paulo.r.m.carvalho em gmail.com> wrote:
>
>> O módulo scikit-learn do Python tem excelentes algoritmos de
>> clusterização que poderiam ser usados para esse tipo de análise em larga
>> escala.  Bastaria pegar o XML de um mapa (pode ser o do mundo), abrí-lo com
>> o pandas e fazer a visualização dos grupos com, por exemplo, um
>> dendrograma.  Objetos vandalizados tendem a formar grupos pequenos ou de um
>> só elemento, tal como dito no artigo, daí é fácil detectar tais
>> situações.   Mas a dificuldade é definir que métricas usar para obter tal
>> separação.  E é aí que entra a ciência de dados.
>>
>> Seria interessante que houvesse um servidor onde pudéssemos instalar a
>> base do OSM global (ou só do BR) e o Anaconda (pacote com Python +
>> bibliotecas de visualização, análise e computação científica) onde as
>> pessoas pudessem fazer suas análises através de Jupyter Notebooks.
>>
>> Para quem é programador, existe a biblioteca TensorFlow que também tem
>> algoritmos de clusterização para big data.
>>
>> Em 8 de agosto de 2018 20:46, Gerald Weber <gweberbh em gmail.com> escreveu:
>>
>>> Oi Pessoal
>>>
>>> artigo sobre deteção de vandalismo no OSM:
>>>
>>> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/
>>> LIPIcs-GISCIENCE-2018-61.pdf
>>>
>>> fico imaginando se a gente conseguiria implementar algo assim em grande
>>> escala
>>>
>>> abraço
>>>
>>> Gerald
>>>
>>> _______________________________________________
>>> Talk-br mailing list
>>> Talk-br em openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>> _______________________________________________
>> Talk-br mailing list
>> Talk-br em openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>
> _______________________________________________
> Talk-br mailing list
> Talk-br em openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://lists.openstreetmap.org/pipermail/talk-br/attachments/20180809/fdf71b69/attachment.html>