[OpenStreetMap Serbia] Talk-rs Digest, Vol 47, Issue 9

[Немања Паунић]

Dragi Peđa hvala ti na uloženoj energiji za svaki red.
Video sam da si i pre ovoga radio dosta za zajednicu. Namerno pišem ti, jer
pokušavam da vam objasnim da nema nikakve potrebe za formalnostima tu smo
da zajedničkim snagama ovo pomerimo u pravom smeru.

Ja ne znam dovolno tehničkih detalja da bih mogao da procenim troškove ali
mislim da oni nisu veliki.

Posao se svodi na dve stvari:

- Preuzimanje mape sa OSM i prilagođavanje našim potrebama. Ovo bi moglo da
se obavi poptuno automatizvoano i povremeno. Dakle ne mora da se radi u
stvarnom vremenu svaki put kad korsinik zeli da preuzme ili pogleda mapu
vec ond kada je to zgodno.

NP: Na ovome sam radio pre par meseci. Nisam siguran da li sam uključio sve
prikupljene slojeve i mislim da je ta baza bila oko 2.5GB što nije ništa
strašno.
(Molim da me ispravite sa preciznim podatkom.)

Time se omogućava da se i dalje sve izmene u mapu unose u OSM - koristeći
sve već postojeće alate. Time bi se praktično korsitili već dostupni
resursi OSM, a kod nas bi bio potreban računar na kome bi se vršilo
automatsko preuzimanje i dopunjavanje mape. Taj računar ne bi morao da bude
nešto megalomansko, baš naprotiv, osim dosta prostora na disku z
amanipulaciju podacima, drugi resursi nisu kritični.

NP: Ovaj deo verovatno nisam razumeo a bitan je. Ako je ideja preuzimanje
seta podataka sa zvaničnih servera OSMa na dnevnom nivou, zar onda nećemo
ponovo imati problem sa Kosovom? Koliko sam razumeo, bilo kakav pokušaj
rada na Kosovu se karakteriše kao vandalizovanje. Kako da prikupljamo
Kosovo sa OMS arhitekturom a da se čuva u lokalnoj bazi?
Ja se upravo najviše plašim od broja konekcija koji istovremeno treba da
pišu u bazu. Ukoliko se ipak ispostavi da je to direktan rad na resursima o
kojima pričamo, to može da bude problem.

Drugi deo priče koji razumem je da od prikupljene baze podataka kreiramo
karte pomoću određenog alata (ako sam razumeo to je kod vas MapInk), NIGP
za to koristi MapServer i GeoServer. Rezultat rada je najpre kreiranje
dostupnog veb servisa koji je neophodno ubrzati njegovim keširanjem u nekom
standardnom gridu za standardne razmere.
Rezultat keširanja je dosta brz servis koji se renderuje gotovo momentalno
u vidu malih .jpeg ili .png sličica. (Razlika je u što .png format ima
providnost, cena je što je teži.)

Sve osnove karte koje trenutno koristi nova aplikacija su napravljene na
ovaj način, jedna od tih karata podseća na OSM (https://a3.geosrbija.rs/).
Ovde vas pozivam da za sada deo informacija koji vam je značajan prikupite
alatima za crtalnje i eksprt u neki od standardnih formata. (na primer
vektorizacija po ortofoto snimcima visoke rezolucije).

Sam postupak keširanja traje relativno dugo zato što vreme raste
eksponencijalno sa svakim sledećim zum levelom. Količina tih podataka na
disku zna da ide i do 0.5TB.
(Ukoliko neko od vas ima iskustva sa keširanjem podataka, zamolio bih vas
da podeli informaciju o konačnoj vrednosti keša OSM mape za teritoriju
Srbije sa objašnjenjem kako to radite i u kom formatu.)

U priči keširanja dolazimo do glavnog problema kada se napravi izmena u
bazi i onda treba rekreirati keš. Ukoliko postoji neki elegantan način, rad
sam da čujem više o tome.
Sa takvim sitnim zamenama nemam iskustva. Moja ideja je da se pusti keš za
neki minimalni obuhvatni pravougaonik gde je došlo do izmene. Kao problem
ostaje kako to područje automatski detektovati?

*Ovde moram biti prilično otvoren. S obzirom na to da se radi o državnoj
infrastrukturi, možete pretpostaviti da pristup ovom serveru u smislu
logovanja i administriranja baze ne bi bilo omogućen nekom iz OSMa
zajednice. Nadam se da to ne predstavlja prepreku jer mislim da je
mehanizam najbitniji a dostupnost bi se garantovala institucijom.
Ovde očekujem buru u smislu trud cele zajednice pokušavamo da stavimo u
crnu kutiju itd.
Logičnijeg objašnjenja nema od toga da bi podatke publikovali pod istom
licencom i da niko nema korist od nečega što je neažurno ili ne
funkcioniše. Molim vas da ne trošimo energiju na ovaj deo.

- Drugi deo je serviranje mape korisnicima. Vremenom će za to trebati dosta
resursa u smislu internet protoka jer kada mapa bude dostupna porašče i
interesovanej za nju, počeće ljudi da nju korsite kao podlogu na svojim
sajtovima umesto Google map. Vremenom to će sigurno da postane prilično
veliko.

NP: Uvod o ovome se nalazi gore. :) Da, definitivno ovo je problem koga se
najviše plašim. Generalno postoji velika potražnja za servisima i taj
konačni bum će da se desi relatvino brzo, a siguran sam da trenutno nemamo
resurse koji mogu to da podnesu.
Međutim, za sad kako nemamo ništa, realizacija kakve takve infrastrukture
bi bila dovoljna za jačanje zajednice i stvaranje održivog koncepta. U
startu treba voditi računa o modlularnosti i skalabilnosti.

E sad, i ti resursi mogu da se kontrolišu. OSM mapa se najćešće koristi
isto kao i Google mapa, sajtovi povlače sličice od kojih formiraju prikaz
mape. Kao što sam i na forumu predložio, rasterećenje resursa može da se
uradi sa keš sererima i takve servere praktično može bilo ko da postavi.
Svaki taj keš serer bi značajno smanjio opterećenje centralnog serera koji
je izvor renderovane mape.

NP: Ovo je prilično konstruktivan predlog, ali nisam siguran kako bi
funkcionisao u praksi. Ako bi to bilo od 0.5 do 1 TB sličica koje dinamično
menjaju na dnevnom nivou, to bi bila katastrofa. Na primer da bi obrisali
ili prekopirali poptun keš, možda potrošite i više od jednog dana. :) To su
dosta sitni fajlovi večičine od 2KB do 256KB.
Ovde verovatno možemo govoriti o skladištenju tih podataka u bazu. Čitanje
je u tom slučaju nešto spronije nego čitanje sa diska. Bitno mi je da
napomenem da sa replikacijom takve baze na druge lokalne nemam iskustvo.
Ukoliko znate nekog ko ima, rad sam da čujem.

Povrh toga, kada postoji sređena baza sa mapom neko može da postavi svoj
rendering server i da namesti drugačiji rendering mape, koji je izgledom
prilagođen nekim specifičnim potrebama (opšta mapa, saobraćajna,
biciklsitička mapa, planinarska mapa, metoeorloška mapa i slično).

NP: I ovde ste mi pomogli. Svaka nova  koju bi voleli da vidite, da kažemo
0.5 TB više. (Molim da se ne uhvatite fiskno za iznetu vrednost. Možda je
više, možda je manje. Voleo bh ako neko zna tačno ili ima priliku da
testira.) Ako znate nekog sa lokalnim serverima iz neke druge zemlje hajde
da pitamo za najbolju strategiju.

Za početak, resursi nisu kritična stvar, najkritičnije je postaviti ceo
sistem da funkcioniše, a za to nisu potrebni veliki resursi.

NP: slažem se u potpunosti.

Juče je neko postavio jedan link na kome se mogla videti statistika. Sad
sam na drugom računaru pa ne mogu da vidim taj imejl. Pogledaću to u
ponedeljak pa ću ostaviti ovde podatke.

Međutim, statistika su brojevi. Mislim da je dovoljno pogledati učinak,
izgled mape, nivo detaljai jasno je da je do sada urađen veliki i ozbiljan
posao. OSM mapa SRbiej već sada sekorsiti kao pouzdan izvor ča i za
autonavigaciju.

NP: Hvala ti. Ove infromacije će mi svakako značiti da pravilno sagledam
situaciju i verovatno da ukažem na potencijal. Međutim, moje izvorno
pitanje krenulo od kranje jednotavnog problema koji sam objasnio na
početku. A to je predikcija broja korisnika servisa i broj konekcija koje
bi istovremeno upisivale u bazu.
Ako sam dobro razumeo zbog upotrebe OSM arhitekture za priklupljanje
podataka, broj konekcija na bazu ne bi bio problem. Servis žele svi i to će
biti izazov.

Takođe, ako bi se sve ovo oko unos amape podiglo na viši nivo, to bi
sigurno podstaklo mnogo ljudi da se uključe.

NP: Na dalje bih već bio oprezan, trenutno nemamo ništa ali smo svesni
potencijala. To treba lagano kroz vreme pokazati na mnogo mesta dok ne
poprimi pravi nacionalni značaj.

Velika stvar kod OSM mape je što je otvorenog koda i što neko ko primeti
grešku ili nedostatak nekih podataka može sam, relativno lako da to unese u
mapu. Upravo to je glavni podsticaj. Ne zavisite od nekog komercijalnog
interesa i imate punu slobodu da dopunjavate mapu sve dok to radite kako
treba.

NP: Više nego jasno svima i zato je ovo pravi momenat da se krene sa ovim
što pokušavamo.

A još ako bi RGZ dozvolio da koristimo ortofoto kao podlogu, ne bi nam bilo
kraja. Uveren sam da bi za vrlo kratko vreme imali digitalnu mapu
topografske detaljnosti. Već sada možete znači delove mape koji su ucrtani
na tom nivou, mada relativno retko iz prostog razloga što sada da bi tako
nešto ucrtavali mi moramo da bukvalno snimamo podatke na terenu, jer druge
izvore nemamo. O tome pričam iz mog ugla, jer mene prvenstveno interesuje
mapiranje za potrebe planinara i biciklista a one traže visok nivo
detaljnosti i ja kada crtam mapu nekog prostora obično ucrtavam takve
detalje.

NP: Zajednica trenutno nema nikakvu podršku, vremenom će to da se menja.
Moramo stpljivo i korak po korak.
Za sada predlažem alate dostupne na a3.geosrbija.rs. To je najbolje što je
moguće u ovom momentu.

Nadam se da ete i vi imatirazumevanja da od ljudi koji sve ovo što rade
rade sa pozicija volumnterizma, a to značida ne gledaju koliko koštaju rad
i resursi koje ulažu, imaju problem da to vrednuju na takav način.

NP: Razumem u potpunosti, ali nam treba smirenost jer borba tek predstoji.
Varnice i trzavice na obe strane to neće dovesti na dorbo. :)
Možda sam ja bio preoptimističan da naletim na bolje tako što ću da se
ušetam i kažem e ljudi ajde da uradimo to i to jer šansa posotoji a namera
je dobra.

Ja bih vas zamolio da razumete da je priča dosta složenija od RGZa. Za
početak, sve bih vas ispravio da to nije RGZ. NIGP je Nacionalna
infrastruktura geoprostornih podataka koja je po svojoj hierarhiji iznad
RGZa u smislu da je RGZ samo jedan član. Ravnopravno ga čine ga i druge
institucije (subjekti NIGPa), a njegovo krovno telo je Savet NIGPa. Istina,
Savetom trenutno predsedava RGZ. I istina, u okviru RGZa postoji odeljenje
za NIGP iz koga centralni deo prče počinje. RGZ je logičan izbor jer
proizvodi najveću količinu prostornih podataka, ima stručni kadar koji zna
da upravlja prostornim podacima i ima mnogo više uloženo u softversku i
hardversku infrastrutkuturu od drugih instituija kojima se trudi da pomogne
kako bi se  NIGP razvijao u pravom smeru. Na ovome je akcenat u narednom
periodu.

Pitanja servisa i otvaranja podataka su i te kako aktuelna a zavise od
mnogo faktora. To nije nešto na šta trenutno bilo ko od nas može da utiče
bilo kakvim komentarom ili raspravom. Predlažem da štedimo energiju i da se
držimo prvog koraka. Delajmo tamo gde ima prostora.

Lep pozdrav,
Nemanja

2017-11-18 13:00 GMT+01:00 <talk-rs-request на openstreetmap.org>:

> Send Talk-rs mailing list submissions to
>         talk-rs на openstreetmap.org
>
> To subscribe or unsubscribe via the World Wide Web, visit
>         https://lists.openstreetmap.org/listinfo/talk-rs
> or, via email, send a message with subject or body 'help' to
>         talk-rs-request на openstreetmap.org
>
> You can reach the person managing the list at
>         talk-rs-owner на openstreetmap.org
>
> When replying, please edit your Subject line so it is more specific
> than "Re: Contents of Talk-rs digest..."
>
> Today's Topics:
>
>    1. Re: Talk-rs Digest, Vol 47, Issue 5 (Pedja Supurovic)
>    2. Re: Talk-rs Digest, Vol 47, Issue 5 (Pedja Supurovic)
>
>
> ---------------Прослеђена порука------------------
> From: Pedja Supurovic <pedja на supurovic.net>
> To: talk-rs на openstreetmap.org
> Cc:
> Bcc:
> Date: Sat, 18 Nov 2017 08:51:08 +0100
> Subject: Re: [OpenStreetMap Serbia] Talk-rs Digest, Vol 47, Issue 5
>
>
>
> On 17.11.2017 15:42, Немања Паунић wrote:
> > Ideja je kranje jednostavna. Pokušavamo da OSM mapama u Srbiji damo
> neophodnu podršku i pomoć kako bi projekat bilo moguće voditi na teritoriji
> cele republike, dakle uključujući Kosovo i Metohiju.
> > Pregledom foruma pronašao sam vašu ideju da se samostalno organizujete
> na izdvojenom serveru. Takođe, video sam da imate problem sa
> administrativnim granicama.
> >
> > Ideja ide ka ustupanju resursa omogućenih od strane NIGPa za potrebe
> OSMa Srbije i ka omogućavanju seta podataka sa administrativnim jedinicama.
> > Ukoliko to nije moguće u ovom trenutku jer ne postoje dovoljni resursi
> onda da pokušamo da uključimo u plan za sledeću godinu.
> >
> > Moje lično mišljenje je da OSM priča u Srbiji zaslužuje nacionalnu
> pažnju, da su koristi od ažurnih karata nemeljvie i u toj ideji nisam
> usamljen.
>
> Potpuno sam saglasan i mislim da drugačije i ne može da se unapredi
> postojeće stanje.
>
> > Dakle, svesni smo postojanja problema i znamo da smatrate da je rešenje
> server (serveri). Da li imate projekciju i znate koliko čega vam treba? Ne
> znate? Hade da sračunamo.
>
> Ja ne znam dovolno tehničkih detalja da bih mogao da procenim troškove ali
> mislim da oni nisu veliki.
>
> Posao se svodi na dve stvari:
>
> - Preuzimanje mape sa OSM i prilagođavanje našim potrebama. Ovo bi moglo
> da se obavi poptuno automatizvoano i povremeno. Dakle ne mora da se radi u
> stvarnom vremenu svaki put kad korsinik zeli da preuzme ili pogleda mapu
> vec ond kada je to zgodno.
>
> Time se omogućava da se i dalje sve izmene u mapu unose u OSM - koristeći
> sve već postojeće alate. Time bi se praktično korsitili već dostupni
> resursi OSM, a kod nas bi bio potreban računar na kome bi se vršilo
> automatsko preuzimanje i dopunjavanje mape. Taj računar ne bi morao da bude
> nešto megalomansko, baš naprotiv, osim dosta prostora na disku z
> amanipulaciju podacima, drugi resursi nisu kritični.
>
> - Drugi deo je serviranje mape korisnicima. Vremenom će za to trebati
> dosta resursa u smislu internet protoka jer kada mapa bude dostupna porašče
> i interesovanej za nju, počeće ljudi da nju korsite kao podlogu na svojim
> sajtovima umesto Google map. Vremenom to će sigurno da postane prilično
> veliko.
>
> E sad, i ti resursi mogu da se kontrolišu. OSM mapa se najćešće koristi
> isto kao i Google mapa, sajtovi povlače sličice od kojih formiraju prikaz
> mape. Kao što sam i na forumu predložio, rasterećenje resursa može da se
> uradi sa keš sererima i takve servere praktično može bilo ko da postavi.
> Svaki taj keš serer bi značajno smanjio opterećenje centralnog serera koji
> je izvor renderovane mape.
>
> Povrh toga, kada postoji sređena baza sa mapom neko može da postavi svoj
> rendering server i da namesti drugačiji rendering mape, koji je izgledom
> prilagođen nekim specifičnim potrebama (opšta mapa, saobraćajna,
> biciklsitička mapa, planinarska mapa, metoeorloška mapa i slično).
>
> Za početak, resursi nisu kritična stvar, najkritičnije je postaviti ceo
> sistem da funkcioniše, a za to nisu potrebni veliki resursi.
>
> > Takođe, neophodan mi je podatak o većini zajednice iz prostog razloga da
> vidimo koliko ljudi bi radilo ili koristilo dodeljene resurse (Možda vam je
> projekcija loša).
>
> Juče je neko postavio jedan link na kome se mogla videti statistika. Sad
> sam na drugom računaru pa ne mogu da vidim taj imejl. Pogledaću to u
> ponedeljak pa ću ostaviti ovde podatke.
>
> Međutim, statistika su brojevi. Mislim da je dovoljno pogledati učinak,
> izgled mape, nivo detaljai jasno je da je do sada urađen veliki i ozbiljan
> posao. OSM mapa SRbiej već sada sekorsiti kao pouzdan izvor ča i za
> autonavigaciju.
>
> Takođe, ako bi se sve ovo oko unos amape podiglo na viši nivo, to bi
> sigurno podstaklo mnogo ljudi da se uključe.
>
> Velika stvar kod OSM mape je što je otvorenog koda i što neko ko primeti
> grešku ili nedostatak nekih podataka može sam, relativno lako da to unese u
> mapu. Upravo to je glavni podsticaj. Ne zavisite od nekog komercijalnog
> interesa i imate punu slobodu da dopunjavate mapu sve dok to radite kako
> treba.
>
> A još ako bi RGZ dozvolio da koristimo ortofoto kao podlogu, ne bi nam
> bilo kraja. Uveren sam da bi za vrlo kratko vreme imali digitalnu mapu
> topografske detaljnosti. Već sada možete znači delove mape koji su ucrtani
> na tom nivou, mada relativno retko iz prostog razloga što sada da bi tako
> nešto ucrtavali mi moramo da bukvalno snimamo podatke na terenu, jer druge
> izvore nemamo. O tome pričam iz mog ugla, jer mene prvenstveno interesuje
> mapiranje za potrebe planinara i biciklista a one traže visok nivo
> detaljnosti i ja kada crtam mapu nekog prostora obično ucrtavam takve
> detalje.
>
> > Moj najveći strah je da vam treba više resursa u odnosu na ono što
> možemo da izdvojimo. Ako pitate koliko je resursa moguće? Bez znanja šta
> tačno radimo i šta je tehnička projekcija, onda je to ništa.
>
> > Govorimo o trajnjem rešenju, najpre dodela hardverskih resursa za
> hosting i publikaciju ažurnih podata za teritoriju Srbije.
> > Predlog je da napravimo minimalnu, optimalnu i neku naprednu projekciju.
>
>
> Potpuno ste u pravu. Nadam se da će momci koji su vue upoznati sa tim
> stvarim dati neke konkretnije predloge.
>
> Nadam se da ete i vi imatirazumevanja da od ljudi koji sve ovo što rade
> rade sa pozicija volumnterizma, a to značida ne gledaju koliko koštaju rad
> i resursi koje ulažu, imaju problem da to vrednuju na takav način.
>
> Pedja
>
>
>
>
> ---------------Прослеђена порука------------------
> From: Pedja Supurovic <pedja на supurovic.net>
> To: talk-rs на openstreetmap.org
> Cc:
> Bcc:
> Date: Sat, 18 Nov 2017 08:51:29 +0100
> Subject: Re: [OpenStreetMap Serbia] Talk-rs Digest, Vol 47, Issue 5
>
>
> On 17.11.2017 23:13, Немања Паунић wrote:
> > Ako nemate ništa protiv, zahvalio bi vam se na izdvojenom vremenu.
> > Kako ne razumete?
> > Evri ne postoje. Stav RGZa ne postoji, odnosno, verovatno je onaj koji
> ste do sad postigli.
> >
> > Pokušao sam da govorim o saradnji i pomoći. Primetio bih da su podaci
> koje stvarate open, što ne mogu reći za iznete stavove.
> > Da bi bilo ičega razgovor bi trebalo da bude opušten i otvoren.
> Mogućnosti stvaramo zajedno.
> >
> > Na ponuđenu priliku vi zahtevate polaganje računa. Moje viđenje je da to
> nije fer stav.
> > Da bi se neke stvari promenile potreban je zajednički rad. Za svaki
> konstruktivan predlog stojim vam na raspolaganju.
>
> Molim vas nemojte to tako razumeti.
>
> Postoji određena doza skepse prema RGZ jer RGZ je do sada vodio sasvim
> drugačiju politiku od ove koju ste vi predstavili.
>
> Ja lično sam veoma obradovan i oduševljen takvom promenom pristupa jer ako
> bi se ostvarilo ovo što ste predložili to bi u stvari bilo upravo onako
> kako treba da bude i napravilo bi velike promene.
>
> Ljudi koji rade na OSM mapi imaju jednu ideju - da se napravi kvalitetna
> mapa koja je slobodno dostupna svima. Naglasak je na onom slobodno i to je
> jasno definisano OSM licencom.
>
> Kvaka kod tog pristupa je da sama mapa, to jest baza ne može da bude
> predmet komercijalne eksploatacije. Zarada može da se pravi na raznim
> uslugama i servisima baziranim na toj mapi, ali sama mapa je otvorenog koda.
>
> To je sve suprotno onome kako je RGZ do sada radio i zato ljudi pokazuju
> rezervisanost. Previše dobro zvuči ovo što ste vi predložili.
>
> Ali verujte mi, to su ljudi koji su itekako spremni i sposobni čuda da
> naprave. Video sam ih na delu.
>
> Verujem da će početna rezervisanost biti prevaziđena.
>
>
> Peđa
>
>
>
> _______________________________________________
> Talk-rs mailing list
> Talk-rs на openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-rs
>
>
-------------- следећи дио --------------
HTML прилог је прочишћен..
Адреса: <http://lists.openstreetmap.org/pipermail/talk-rs/attachments/20171118/c2fe7a58/attachment-0001.html>