[Talk-dk] Nyt script til addresseopdateringer

Jonathan Hougaard hougaardjk at gmail.com
Lør Apr 14 11:10:13 UTC 2018


Hej Anton


Tak, den var jeg ikke bekendt med. Det ændrer jo straks spillereglerne lidt.

Det ville selvfølgelig være nemt bare at kunne importere det komplette 
datasæt fra DAWA, indlæse i OSM og så holde det opdateret vha. deres 
replikerings-API.  Desværre er OSM-dataet allerede til dels forældet, og 
skal derfor bringes up-to-date først. Så for et komplet og korrekt 
datasæt ville det nok kræve at slette alle eksisterende adressenodes i 
OSM og så indlæse det hele forfra. Jeg er bange for det vil være svært 
at finde opbakning til den fremgangsmåde, da man risikerer større tab af 
data (f.eks. hvis der er tilføjet andre data-tags på adressenoderne, som 
så vil blive slettet). Hmm.

I øvrigt vil brug af replikerings-API'et også kun fange rettelser, der 
kommer fra DAWA. Dvs. hvis en bruger manuelt (fejlagtigt) har rettet på 
en adresse-node i OSM, vil denne ikke blive rettet tilbage (medmindre 
samme adresse tilfældigvis også bliver ændret i DAWA). En del af ideen 
er også at fange sådanne manuelle edits og rette dem tilbage.

Hvis OSM var er sterilt miljø med korrekte og kontrollerede edits ville 
et replikerings-API være super, men jeg er ikke sikker på, det er en 
optimal løsning her. Hvad tænker du om det?

Mht. serverplads: fedt, det vil jeg huske når jeg når så langt!


On 14/04/2018 11:52, Anton Stonor wrote:
> Hej Jonathan,
>
> Fedt, at du tager teten!
>
> Jeg har et par tekniske pointer, du kan overveje og måske allerede er 
> opmærksom på.
>
> DAWA har et fint replikerings-API. Den løbende synkronisering vil 
> blive meget mere letvægts, hvis du abonnerer på ændringer frem for at 
> trawle alt igennem. https://dawa.aws.dk//dok/guide/replikering
>
> Brug et kø-system, fx ved hjælp af RabbitMQ. Du kan sikre, at alle 
> ændringer går igennem ved fx periodiske problemet, og evt. fejl kan 
> behandles fra en fejlkø.
>
> I øvrigt: Jeg er en del af en it-virksomhed, som gerne vil sponsorere 
> en server til projektet.
>
> /Anton
>
>
> Den 14. april 2018 kl. 09.45 skrev Jonathan Hougaard 
> <hougaardjk at gmail.com <mailto:hougaardjk at gmail.com>>:
>
>     Hej alle
>
>
>     Efter en kort diskussion her:
>     https://www.openstreetmap.org/changeset/57976035
>     <https://www.openstreetmap.org/changeset/57976035> har jeg
>     besluttet mig for at give mig i kast med at bygge en ny web app,
>     der kan bruges til at vedligeholde danske adresser vha. det danske
>     adresseregister.
>
>
>     Grundstrukturen er allerede funktionel, men før jeg arbejder
>     videre med projektet vil jeg gerne have spørgsmål, kommentarer og
>     ønsker til projektet. Grundlæggende er ideen at opdatere adresser
>     på en måde svarende til den vi kender fra AWSbot scriptet. Den
>     tekniske del er dog lavet fra bunden, og virker på en noget anden
>     måde end AWSbot, hvilket gerne skulle give en mere effektiv og
>     fleksibel databehandling.
>
>
>     Følgende wiki-side vil være primær dokumentation for projektet:
>     https://wiki.openstreetmap.org/wiki/AutoAWS
>     <https://wiki.openstreetmap.org/wiki/AutoAWS>. Siden vil blive
>     opdateret løbende i takt med at jeg arbejder videre med projektet,
>     baseret på jeres kommentarer og ønsker. Kildekoden vil blive
>     offentliggjort når en endelig version af appen er færdiggjort.
>
>
>     Efterhånden som det hele skrider frem vil jeg nok have mere
>     konkrete spørgsmål at stille - men i første omgang vil jeg blot
>     meget gerne høre jeres umiddelbare indtryk, tanker, ønsker osv.
>
>
>     Allerede nu vil jeg melde ud, at hvis opdatering af adresser skal
>     køre fuldautomatisk (tanken er at hvert postnummer automatisk kan
>     blive opdateret hver 30. dag), vil det kræve noget
>     serverinfrastruktur hvor scriptet kan køre. Jeg bidrager gerne min
>     tid og viden til projektet, men er ikke interesseret i at bidrage
>     økonomisk. Hvis der er nogen, der kan bidrage med serverplads,
>     hører jeg derfor gerne fra jer. Det er ikke det helt store, der
>     kræves - hvis du for eksempel har en personlig hjemmeside, vil
>     scriptet nok kunne køre i baggrunden på den.
>
>     Alternativt kan det hele også køre på en almindelig computer, hvis
>     der installeres noget server-software (f.eks. Wampserver). Så vil
>     opdateringen dog ikke kunne køre fuldautomatisk.
>
>
>     Foreløbigt ser jeg frem til at modtage tanker og kommentarer.
>
>
>     _______________________________________________
>     Talk-dk mailing list
>     Talk-dk at openstreetmap.org <mailto:Talk-dk at openstreetmap.org>
>     https://lists.openstreetmap.org/listinfo/talk-dk
>     <https://lists.openstreetmap.org/listinfo/talk-dk>
>
>
>
>
> _______________________________________________
> Talk-dk mailing list
> Talk-dk at openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-dk

-------------- næste del --------------
En HTML-vedhæftning blev fjernet...
URL: <http://lists.openstreetmap.org/pipermail/talk-dk/attachments/20180414/1ab67e89/attachment-0001.html>


Mere information om maillisten Talk-dk.