[Talk-br] RES: RES: OSM - CNEFE

Peter Krauss ppkrauss em gmail.com
Sexta Outubro 2 22:47:25 UTC 2015


Esse tipo de discussão mais técnica podemos levar no Github/issues do
projeto,  https://github.com/lucasmation/osm_cnefe_import/issues/4  mais
tarde podemos organizar.

PS: postei
<http://stackoverflow.com/questions/32907481/optimize-large-st-intersect-query-match-1-8m-osm-streets-to-317k-polygons#comment53661447_32907481>
uma sugestão de "pre-check, ... AND (way && setor_censitarioL.geom) AND
ST_Intersects(...) "
pois voce está fazendo um scan de pares, são N*M verificações, o operador
&& descarta os casos onde nem sequer o BBOX coincide... Na pratica acho que
até pode trocar tudo por *ST_DWithin*.




Em 2 de outubro de 2015 21:39, Lucas Ferreira Mation <lucasmation em gmail.com>
escreveu:

> Ok para reuniao 20h40 hoje.
>
> Ainda nao consegui matar o problema do do cruzamento do OSM com os setores
> censitarios.
> Eu peguei as sugestoes do stack overflow
> <http://stackoverflow.com/questions/32907481/optimize-large-st-intersect-query-match-1-8m-osm-streets-to-317k-polygons>e
> juntei em varias possiveis queries e coloquei tudo em
>
>
> https://github.com/lucasmation/osm_cnefe_import/blob/master/OSM_Streets_SetorCensitario_spatial_match.sql
>
> Mas nao sei interpretar muito bem o output do EXPLAIN. Peter da uma olhada
> para mim por favor (interrogacao)
>
>
>
>
>
>
>
> 2015-10-02 18:10 GMT-03:00 Peter Krauss <ppkrauss em gmail.com>:
>
>> Ola!
>>
>> Respondendo por alto a todos os tópicos,
>>
>> *== reuniao hoje 20h40 ==*
>> Acho que estamos de acordo com isso, falta conferir o canal de voz a ser
>> usado (Hangouts ou Zoom)... Eu acabo de descobrir que não estarei em casa,
>> não sei se conseguirei  participar hoje. Caso alguem use cel. da Claro eu
>> passo por email e falamos antes, no celular ou em fixo.
>>
>>
>> *== PROJETOS OSM ==*
>> O Marcos indicou o norte,
>>
>> http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos
>>
>> acho que podemos começar por "dar um tapa" nisso, já fiz coisa parecida
>> lá na OKBR <http://wiki.okfn.org/Category:Projetos_OKBR>, onde
>> classificamos com 2 ou 3 tags, e categorizamos os projetos, amarrando de
>> forma mais sólida as páginas...
>>
>> No caso da descrição de quadras, etc. como se trata de Wikimedia, o mesmo
>> software que usado na Wikipedia (!), posso até copiar/colar o que comecei
>> na Wikipedia (
>> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders )
>> e tentar por fim uma abordagem didática para todos entendermos exatamente
>> como se relacionam as quadras com o CEP e com o CNEFE... Ou seja, texto
>> mais ilustrativo e didático, e conforme formos obtendo resultados concretos.
>>
>> Eu talvez migre uma parte (a mais técnica) da OKFN para a wiki da OSM,
>> onde haverão mais colaboradores,
>>   http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
>>
>> O Alexandre comentou de um nome melhor no Github, concordo... e, pensando
>> bem, acho que nem precisamos de Github para essa organização geral de
>> projetos, pode ficar tudo na WikiProject_Brazil/Projetos
>> <http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos> por
>> hora.
>> . ... acho que "CNEFE data, IBGE, Brasil import" e  "Mapa-do-CEP" tendem
>> a convergir para algo como "city block generation" e "segmentation by
>> faces, of city block", ou seja, faces de quadra serão nosso foco.
>>
>>
>> *=== PROJETO CNEFE===*
>> @Marcos, sim, o Lucas é o trator e o coordenador do projeto (!), nós
>> vamos atrás a reboque, com umas pás de jardim e boa vontade esporádica ;-)
>> A discussão sobre onde colocar esse projeto do Lucas de CNEFE, qual Wiki
>> usar (Github ou wiki.openstreetmap), etc. podemos tentar fechar em
>> https://github.com/lucasmation/osm_cnefe_import/issues/1
>> aguardo você por lá ok?
>> Como já somos 1 coordenador ("trator") e 2 colaboradres ("reboques"), já
>> podemos estimar metas e seguir as dicas do Alexandre, "(...) um projeto
>> coletivo e grande talvez deva necessariamente começar pelos planos, pela
>> engenharia, pela definição de arquitetura". Os colaboradores (eu e Marcos)
>> podemos iniciar por isso que não exige muita expertize nem estar com a mão
>> na massa, o Lucas já  "prototipou e ensaiou" o principal, o que faltar vai
>> saindo no feedback de comunidade.
>>
>> *===PROJETO MAPA DO CEP===*
>> Acho que estamos convergindo para a fusão do CNEFE com o  MAPA DO CEP: o
>> fundamento de ambos são as faces de quadra e, posteriormente, o valor de
>> logística agreado.
>>
>>
>> *== Metaphone, Lucas ==*
>> A análise de duplicações de nomes de rua é complexa,  tem mil meandros e
>> em geral cada cidade  uma peculiaridade (as respectivas Câmaras Municipais
>> são as responsáveis)... As duplicações seriam talvez um projetinho a parte,
>> acho que podemos até tratar em outro *git* e fazer centenas de
>> experimentos e demonstrações com planilhas CSV.
>> - - -
>> PS: Olhei por alto o seu link
>> <http://pt.slideshare.net/DiogoLVGRubert/palestra-diogo-rubert-pgday-campinas-2015>
>> , parece que estamos em consenso.  A ultima vez que discuti o assunto foi
>> em http://pt.stackoverflow.com/a/10202/4186
>> RESUMO: basta instalar o Metaphone no PostgreSQL: precisa indexar com
>> metaphone poque é exponencialmente mais rápido do que comparar par-a-par
>> com semelhança. O indexador sugerido (as ruas do Brasil exigem 90% fonética
>> do portugues) já faz também uma espécie de *stemming
>> <https://en.wikipedia.org/wiki/Stemming> *grosseiro por ficar só com
>> prefixos. Aí, como diz também seu link, com grupos de similares em mãos,
>> aplica-se a semelhança par-a-par.
>>
>>
>>
>>
>> Em 2 de outubro de 2015 02:13, Marcos Fedato <heroijapa em hotmail.com>
>> escreveu:
>>
>>> Peter,
>>>
>>> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina
>>> do Wiki kkkkk.
>>>
>>> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
>>>
>>> Acho que podemos seguir o que ele fez e crescer com isso.
>>>
>>> Então já temos o repo, o wiki e o objetivo claro que podemos revalidar.
>>>
>>> O Lucas ta ralando a tempo nisso essa pagina da wiki começou em Abril de
>>> 2014!
>>>
>>> Att
>>> Marcos Fedato
>>>
>>>
>>> ------------------------------
>>> From: heroijapa em hotmail.com
>>> To: talk-br em openstreetmap.org
>>> Date: Thu, 1 Oct 2015 22:40:53 -0300
>>>
>>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>>
>>> Olá Peter,
>>>
>>> 1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de
>>> "importacao_cnefe" e dentro dele criar uma pasta tipo "documentação" caso
>>> precisemos guardar algo lá.
>>>
>>> Na verdade o lucas já tem um projeto criado
>>> https://github.com/lucasmation/osm_cnefe_import, mas talvez criar um
>>> pelo OSM fique mais formal, chame mais atenção, sei lá.
>>>
>>> Nesse repo poderiamos dividir em pastas as diferentes ferramentas que
>>> possamos ter de desenvolver, e fica focado no tema.
>>>
>>> Acho também que poderiamos usar o Wiki do OSM para documentar em alto
>>> nível assim mesmo quem não é programador fica a vontade para entender o que
>>> fizemos.
>>>
>>> 2) Só dando crédito a pessoa correta kkkk, o Lucas que "numerou com
>>> letras" de A a G.
>>>
>>> Sobre o primeiro tópico, acho que deveria ser dar um passo técnico para
>>> trás e definir bem o objetivo deste projeto (se é nomear automaticamente,
>>> apontar áreas de correção, apontar possíveis nomes para o ID, criar uma
>>> camada de setor censitário alinhada ao OSM para futuras análises espaciais,
>>> tudo isso, tudo isso e mais um pouco...).
>>>
>>> 3) Consolidação: Pode ser no Wiki do GITHub ou no Wiki do OSM, eu tendo
>>> mais ao Wiki do OSM pois ficaria concentrado onde outros projetos já
>>> existem. http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos.
>>>
>>> Mas se for no Wiki do GITHub, a gente cria uma pagina no Wiki do OSM
>>> redirecionando para lá e ta massa também, acho que não devemos gastar muita
>>> energia criativa com ferramental pq gosto é como... nariz, cada um tem uma
>>> ferramenta especial kkkkk.
>>>
>>> Então assim, como vc teve a iniciativa, acho que vc pode escolher (só
>>> veria como lucas a questão de usar o repo dele ou criar pelo OSM, de qual
>>> Wiki, o que importa é gerarmos conteúdo de qualidade), decisões concensuais
>>> por listas de email são demoradas, desgastantes e normalmente... não são
>>> concensuais no fim kkkk.
>>>
>>> Atenciosamente,
>>> Marcos Fedato
>>>
>>>
>>> ------------------------------
>>> Date: Thu, 1 Oct 2015 22:01:57 +0000
>>> From: ppkrauss em gmail.com
>>> To: talk-br em openstreetmap.org
>>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>>
>>> Oi Alexandre, não se preocupe, e creio que aqui a maioria é
>>> intermitente, com seus altos e baixos de participação.
>>>
>>> Uma coisa onde *todos podem  ajudar para já adiantar o processo* é o
>>> seguinte:
>>>
>>> *1) *o nome do projeto Github, que tal "Organizando"? ficaria
>>> https://github.com/OSMBrasil/organizando
>>>
>>> *2)* O Marcos já lançou tópicos de A a G (!), que fal votarmos aqui,
>>> antes de começar no git, qual será o primeiro tópico a ser abordado?
>>>
>>> *3) *consolidação de textos aqui dos emails: uma série de dicas,
>>> questionamentos, e consensos foram expressos neste theread, quem ajudaria a
>>> resumir/consolidar esse blabla rico todo para servir de referência mais
>>> organizada e centralizada? (preparo la no Git como Wiki ou README)
>>>
>>> Peter
>>>
>>>
>>> Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros <
>>> alexandre.mbm em gmail.com> escreveu:
>>>
>>> Peter Krauss e Marcos Fedato,
>>>
>>> Infelizmente eu preciso declarar que *eu apenas trouxe a ideia*, para
>>> quem está com gás, vocês. Não posso me envolver. Tenho um bocado de
>>> pendências por aqui, pela comunidade mesmo, coisa que eu devia ter feito e
>>> não fiz. E coisa que preciso fazer, como simples traduções. Mesmo que eu
>>> não as tivesse, minha cabeça está cada vez mais distante dos conhecimentos
>>> técnicos que o projeto de vocês requer. Eu preciso resolver várias coisas
>>> no âmbito pessoal (particular), às quais dou mesmo mais prioridade. Por
>>> exemplo, meu pai tornou-se deficiente físico e... bem, estou com ele.
>>>
>>> Alexandre Magno
>>>
>>> Em 1 de outubro de 2015 17:16, Peter Krauss <ppkrauss em gmail.com>
>>> escreveu:
>>>
>>> Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos
>>> numa cidade, como São Paulo, podemos até fazer presencial+web ... Quanto
>>> aos slides tambem boa ideia, já fiz algo parecido para palestras do LexML,
>>> https://github.com/ppKrauss/lexml-slides
>>>
>>>
>>> Em 30 de setembro de 2015 15:58, Alexandre Magno Brito de Medeiros <
>>> alexandre.mbm em gmail.com> escreveu:
>>>
>>> Outra opção mais custosa é agendarem uma apresentação de slides para
>>> cada pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos
>>> apresentadores. Com o objetivo de definir os rumos de um projeto de
>>> software. A reunião final consolidaria os ânimos do time e decidiria o que
>>> aproveitar de cada ideia. Cada apresentação teria explicado coisas com
>>> imagens, áudio e texto. Os slides e documentos de definição seriam
>>> versionados, guardados e publicados em GitHub.
>>>
>>> Alexandre
>>>
>>> Em 30 de setembro de 2015 12:43, Alexandre Magno Brito de Medeiros <
>>> alexandre.mbm em gmail.com> escreveu:
>>>
>>> Eu não vou participar, mas sugiro que vocês procurem uma ferramenta que
>>> lhes permita desenhar em quadro branco remotamente, com áudio. Existe. É
>>> como um pad com capacidade de desenho à mão livre e áudio.
>>>
>>> Alexandre
>>>
>>> Em 30 de setembro de 2015 09:14, Marcos Fedato <heroijapa em hotmail.com>
>>> escreveu:
>>>
>>>
>>> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
>>> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
>>> em expandir essa conversa além da lista (dá uma preguiça de escrever e a
>>> discussão demora, principalmente para brain storming) estou disposto a
>>> participar de discussões via áudio sobre o tema em horário não comercial e
>>> depois a gente pode colocar na lista um resumo para não perder o histórico.
>>>
>>>
>>>
>>> _______________________________________________
>>> Talk-br mailing list
>>> Talk-br em openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>>
>>> _______________________________________________ Talk-br mailing list
>>> Talk-br em openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>> _______________________________________________ Talk-br mailing list
>>> Talk-br em openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>> _______________________________________________
>>> Talk-br mailing list
>>> Talk-br em openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>
>> _______________________________________________
>> Talk-br mailing list
>> Talk-br em openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> _______________________________________________
> Talk-br mailing list
> Talk-br em openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://lists.openstreetmap.org/pipermail/talk-br/attachments/20151002/8136369e/attachment-0001.html>


Mais detalhes sobre a lista de discussão Talk-br