[osm-hu] Tesco Import mehet?
Ferenc Veres
lion at netngine.hu
2018. Júl. 27., P, 11:01:10 UTC
Jó a webes áttekintés lehetősége.
Az opening_hoursban lettem figyelmes "PH off" értékre, ami azt jelzi,
hogy ünnepnapokon zárva. Ez elveszik a frissítéskor, habár "tudjuk", de
azért érdekes, hogy van ahol oda volt írva és leszedi az import.
A másik, hogy (nem tudtam) lehet comment az opening_hours mezőben. Erre
nem lehet ezen a webes GUI-n rákeresni, de a szintaxisa lefejtve:
opening_hours= rulesets [ ; rulesets ]...
rulesets: rule [ || rule ]...
rule: range [ status ] [ comment ]
comment: "text"
A short comment (wrapped in " but not containing any " within) showing
applicable restrictions or specifications, e.g. "children only",
"limited service", or "reservation by phone".
https://wiki.openstreetmap.org/wiki/Key:opening_hours
Javaslatom, ha van ilyen, akkor érdemes lehet megtartani vagy az
importáláskor a nyers felülírás helyett figyelni rá.
Akár az is jó ötlet lehet, hogy lenne egy ilyen webes dump, ami a
"shop=mobile_phone" figyelmeztetésekhez hasonlóan bepirosítja az
ilyesmit (pl "openin hours comment!" "contains fixme!"). Vagy ha
valahogy mégis a kézi JOSM-os importnál kötünk ki, akkor a verify-ban
erre is lehetne egy figyelmeztetés, hogy pl "opening_hours_weird". :)
(verify-ban szerintem mindegy mi a separator, KAMI, mert nem standard
dolog. De lehet ; és ilyen "kód értékek", amiket te is javasoltál. Az
tömör. DE: ha nem kézi import lesz akkor nem is kell verify teg, vagy
csak pont erre, hogy akkor egy ilyen webes ellenőrző dump már csak
azokat tenné jól láthatóvá. Feltölteni nem szabad.)
Ja, volt itt pár opening_hours vicc korábban, azt hittem azok viccek,
erre tényleg van ilyen szöveges megadási lehetőség. Habár a JOSM nem
érti, egyelőre akkor nem írom rá a két fodrászra "reservation by phone".
Vagy írjam? (A JOSM azt írja, hogy hibás az érték, javítsam ki és
nyomjak entert.)
Feri
2018.07.22. 14:14 keltezéssel, Dömcsi írta:
> Ez megtalálja a relationt is:
>
> https://data2.openstreetmap.hu/poijosmtesco.php
>
> Mindet megtalálta,a címkéket lehet bővíteni és utána pár perc alatt be
> lehet írni az összeset.
> Így talán egyszerűbb lenne és nem kéne az osm fájlt utólag bogarászni.
>
> 2018. július 22., vasárnap 13:59:18 UTC+2 időpontban Imre Samu a
> következőt írta:
>
> >A Tesco-knál azt le tudnátok ellenőrizni, hogy a relationnak
> valóban relationnak kellene lennie? Ha igen, akkor hogyan lehet
> legegyszerűbben megkapni a geometriát.
> >Főleg a osm2pgsql adatbázisban tárolt adatoknál.
> >Vagy egyelőre csak hagyjam ki a relationokat, vagy javítsuk ki/át
> az OSM-ben? Mi a véleményetek?
>
> Ha az alap OSM-es térképen polygonként jelennek meg, akkor az
> osm2pgsql a "rendereléshez" már polygonként olvassa be.
> De csak akkor Ha:
>
> - egy viszonylag új osm2pgsql-t használsz.
> ( esetleg használd a hivatalos osm-es PPA-t
> https://github.com/gravitystorm/openstreetmap-carto/blob/master/Dockerfile.import
> <https://github.com/gravitystorm/openstreetmap-carto/blob/master/Dockerfile.import>
> ,
> de mivel ubuntu18.04 -re váltanak a napokban újabb
> változásokra lehet számítani )
>
> - osm2pgsql -t a Cartos beállításokkal benne az extra LUA
> beállításal használod:
> https://github.com/gravitystorm/openstreetmap-carto
> <https://github.com/gravitystorm/openstreetmap-carto>
> ( ebben benne van, hogy milyen kiemelt címkéket kell -
> területként használni még akkor is ha nincs area=yes
> és a "shop"/"amenity" benne van a listában - > kulcs a
> "openstreetmap-carto.lua" !
> ha alaposak akarunk lenni, akkor ide még talán fel kellene
> venni a "abandoned:amenity" - mellé az "abandoned:shop" -ot is ..
> meg a többi disused párját is ..
> ( mert a közelben lévő bezárt - hasonló nevü POI-kat is meg
> kellene találni )
>
> - A Carto ezeket az osm2pgsql betötési paramétereket használja
> # Importing data to a database
> osm2pgsql \
> --cache $OSM2PGSQL_CACHE \
> --number-processes $OSM2PGSQL_NUMPROC \
> --hstore \
> --multi-geometry \
> --database gis \
> --slim \
> --drop \
> --style openstreetmap-carto.style \
> --tag-transform-script openstreetmap-carto.lua \
> $OSM2PGSQL_DATAFILE
> ;;
>
>
>
> Pár ökölszabály ami javasolnék:
> - Használd az https://github.com/gravitystorm/openstreetmap-carto
> <https://github.com/gravitystorm/openstreetmap-carto> -os
> beállításokat ( vagy ezeket egészítsd ki )
> ( az itt lévő Docker beállítás megkönnyíti :
> https://github.com/gravitystorm/openstreetmap-carto/blob/master/DOCKER.md
> <https://github.com/gravitystorm/openstreetmap-carto/blob/master/DOCKER.md>
> )
> - óvatosan használd ( néha inkább ne hasznád a geofabrik-os
> hungary extraktot )
> ( Nagyon régi "kivágó" polygont hasznának és a magyar határ
> menti terület egy része lemaradt )
> Ha valaminek nincs "párja" az osm-ben, akkor emiatt is lehet ...
> üdv,
> Imre
>
>
>
> KAMI911 KAMI911 <kam... at gmail.com <javascript:>> ezt írta (időpont:
> 2018. júl. 22., V, 7:50):
>
> Sziasztok,
>
> A Tesco-knál zt le tudnátok ellenőrizni, hogy a relationnak
> valóban relationnak kellene lennie? Ha igen, akkor hogyan lehet
> legegyszerűbben megkapni a geometriát. Főleg a osm2pgsql
> adatbázisban tárolt adatoknál. Vagy a rels táblábla elemeiből
> csinálok egy listát és lekérem a weyeket node-okat hozzá, aminek
> már lesz geometriája.
>
> Vagy egyelőre csak hagyjam ki a relationokat, vagy javítsuk
> ki/át az OSM-ben? Mi a véleményetek?
>
> Köszi!
>
> Üdvözlettel / Best Regards:
>
> Kálmán (KAMI) Szalai
>
> 2018. július 20. 12:06 Imre Samu írta, <pella... at gmail.com
> <javascript:>>:
>
>
> Nézegetem egy ideje -- de nem ilyan egyszerű ..
> Pár gondolat ..
>
>
> #1. az osm fileoknak szabványosnak kell lennie, most
> néha üres a TimeStamp, és az osmium program panaszkodik .
>
> osmium cat -f opl poi_address_merge_husmrktexp.osm > t.opl
> can not parse timestamp
>
> cat poi_address_merge_husmrktexp.osm | grep timestamp
> ...
> <node action="modify" changeset="99999" id="-4"
> lat="47.69258" lon="17.66049" *timestamp=""*
> uid="4579407" user="KAMI" version="99999">
>
>
>
> #2. Mélyebben elemezve:
>
> Szerintem ezek azok, amelyeknek nem volt OSM-es párja
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-gyor-ipar-utca
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-gyor-ipar-utca>"/>
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-level-szovetkezet-utca
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-level-szovetkezet-utca>"/>
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-movar-szent-i-kir-utca
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-movar-szent-i-kir-utca>"/>
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-arena-plaza-hipermarket
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-arena-plaza-hipermarket>"/>
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-csorna-hipermarket
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-csorna-hipermarket>"/>
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-eger-agria-park-szupermarket
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-eger-agria-park-szupermarket>"/>
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-koszeg-hipermarket
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-koszeg-hipermarket>"/>
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-sarvar-hipermarket
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-sarvar-hipermarket>"/>
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-szeged-moravaros-hipermarket
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-szeged-moravaros-hipermarket>"/>
> <tag k="website"
> v="https://www.tesco.hu/aruhazak/aruhaz/tesco-szerencs-hipermarket
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-szerencs-hipermarket>"/>
>
> Kézzel (1 kivételével) találtam osm-es párjukat -de,
> persze az én manuális keresésemben is lehet probléma ..
>
> Tesco Szerencs ? :
> https://www.openstreetmap.org/node/1498877225
> <https://www.openstreetmap.org/node/1498877225>
> Tesco Szeged Móraváros ? :
> https://www.openstreetmap.org/node/4736930561
> <https://www.openstreetmap.org/node/4736930561>
> Tesco Sárvár ? :
> https://www.openstreetmap.org/relation/7419051
> <https://www.openstreetmap.org/relation/7419051>
> Tesco Kőszeg ? :
> https://www.openstreetmap.org/way/553324162
> <https://www.openstreetmap.org/way/553324162>
> Tesco Eger - agria park? :
> https://www.openstreetmap.org/node/4840059322
> <https://www.openstreetmap.org/node/4840059322>
> Tesco Csorna - hiper? :
> https://www.openstreetmap.org/relation/3900079
> <https://www.openstreetmap.org/relation/3900079>
> Tesco Arena plaza :
> https://www.openstreetmap.org/node/1025017256
> <https://www.openstreetmap.org/node/1025017256>
> Tesco Győr - ipar utca :
> https://www.openstreetmap.org/way/243314923
> <https://www.openstreetmap.org/way/243314923>
>
> Ezeket meg tudod nézni? ( + még azt, hogy miért nem
> matchelődtek össze ? )
>
> A
> "https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-movar-szent-i-kir-utca
> <https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-movar-szent-i-kir-utca>"
> mintha 2x szerepelne 1x van párja, 1x nincs.
> 1 utcában 2
> <https://maps.google.com/?q=1+utc%C3%A1ban+2&entry=gmail&source=g>
> tescos bolt is van - de mintha mindkettő ugyanarra az URL
> -re mutatna
> TESCO expressz Móvár - Szent I. kir. utca Mosonmagyaróvár,
> Szent I. kir. u. 96.
> TESCO expressz Móvár - Szent I. kir. utca Mosonmagyaróvár,
> Szent I. kir. u. 44.
>
> * poi_address_merge_hutescoexp.osm#L1184 96.-os házszám
> - megvan
> * poi_address_merge_hutescoexp.osm#L1215 44.-es házszám
> - talán ez ? https://www.openstreetmap.org/node/971131151
> <https://www.openstreetmap.org/node/971131151> ( Ezt nem
> importálnám be )
> Akár egy duplikátum ellenörzést is rakhatnál a kódba, hogy
> más adatoknál automatikusan detektálódjék.
> és ezeknél a "branch=" -hez is be kellene tenni a
> házszámot,hogy uniq legyen.
>
> A legnehezebb és nyomozandó a Tesco Levél - Szövetkezeti
> utca ..
> Itt nincs jelezve a Tesco - de "talán" ez a 2 lehetne a Tesco ~
> - https://www.openstreetmap.org/node/3456417480
> <https://www.openstreetmap.org/node/3456417480> (tuhu import )
> - https://www.openstreetmap.org/node/4939177711
> <https://www.openstreetmap.org/node/4939177711> ( route4u
> import )
> Én ide nem importálnék egy 3. POI-t ( Tesco-s importot )
> ... mert csak a zajt növeljük vele ... , vagyis ezt
> szerintem hagyjuk ki.
>
>
> #4. Címkék / értékek
>
> Én az eredeti source-ot ( route4u, tuhu ) nem ütném felül
> - hogyha a koordináta onnan származik.
> ezt gondoljuk még át.
> Ez érinti a source= és a source:date= címkéket.
> ( legalábbis nekem kényelmes lenne az overpassal ezeket
> leszürni )
> Valami más címkét használnék itt.
> pl mi lenne ha csak ez lenne : source:tesco.hu:date=
>
>
> Én is a changset tag-be raknám bele a
> <tag k="import" v="osm_poi_matchmaker"/>
> plusz még ki lehet a changset címkéket egészíteni más az
> importálásra, engedélyre, megbeszélésre vonatkozó címkékkel..
>
>
> Elképzelhetőnek tartom, hogy nem egységes adószámot
> használnak egyes üzletláncok ( franchise, stb más ok miatt )
> Szerintem erre rá kellene kérdezni a tesconál. pl. Az
> S-Marktoknak is ugyanaz az adószáma ?
> Ha kérdéses , akkor most inkább ne importáljuk be, ( A
> kevesebb néha több. főleg ha karban is kell tartani őket )
>
> Néhány szöveges megnevezésnél dupla space-ek vannak,
> ezeket ki lehetne szedni ? pl. a "Vihar" szó előtt.
> <tag k="branch" v="Expressz Bp. - Vihar utca"/>
> Rejtett és furcsa Unicode karakterekre is lehetne ellenörizni .
>
> Összefoglaló:
>
> - összesen én 206 tesco-s boltot látok az .osm fileokban.
> és mintha ezek után csak 2-nek nem lenne OSM-es párja,
> azokat (most) én nem importálnám be, majd később egy
> frissitéssel bekerülnek.
> Ezt a ketőt kihagynám:
> * TESCO expressz Levél - Szövetkezet utca Levél,
> Szövetkezet u. 84
> <https://maps.google.com/?q=Sz%C3%B6vetkezet+u.+84&entry=gmail&source=g>.
> * TESCO expressz Móvár - Szent I. kir. utca
> Mosonmagyaróvár, Szent I. kir. u. 44.
> ( A környékükön van bolt poi az OSM-ben , vagyis a
> túristák emiatt nem halnak éhen. )
>
> - Vigyázni kell mert most sok adat ( tuhu,route4u)
> importokra talál rá - azokar módosítja meg , ezeket jobban
> ellenörizni kell.
> és hogy később is ellenörizni tudjuk a source= címkét
> megtartanám.
>
> - ha jól olvason a wikiben - akkor branch= értékének
> uniq -nak kellene lennie, ezt ellenörizni kellene és uniq-á
> kellene tenni.
>
> - sok mindent még nem ellenöriztem le ...
>
> most hirtelen ennyi,
> elnézést a késlekedésért ... igyekeztem alaposnak lenni
> mint gyorsnak , de még mindig nem néztem át mindent ...
>
>
> üdv,
> Imre
>
>
>
>
>
>
>
>
>
>
>
>
> KAMI911 KAMI911 <kam... at gmail.com <javascript:>> ezt írta
> (időpont: 2018. júl. 16., H, 17:38):
>
> Szia Imre,
>
> Köszi, hogy foglalkozol a témával. Jó ha most
> lefektetjük a stabil alapokat, és akkor majd a többi
> importnál is tudjuk alkalmazni a most meghatározott elveket.
> Próbálok valami kapcsolatot kiépíteni, de az igazság az,
> hogy az ügyfélszolgálati rétegen nemigen jutok tovább. A
> válaszok onnan jönnek.
>
> "ezt nem pontosan értem ..."
>
> Ha van olyan POI ami rossz helyre kerülnek, akkor ha
> tudjuk a jó helyet, elég ott létrehozni a POI-t az
> importáló bizonyos határok között meg fogja találni.
>
> Mondd, hogy hova küldjem a levelet és küldöm oda. Valami
> hasonló van a MOL esetében is.
> Az eredeti levél így nézett ki:
>
> https://github.com/KAMI911/E12n/blob/master/osm/getting_permission_shop.md
> <https://github.com/KAMI911/E12n/blob/master/osm/getting_permission_shop.md>
>
> Remélem ez megfelelő, ha nem jöhet PR. :)
>
> Az import ellenőrzésének magasabb foka jó lehet.
>
> - nem importálunk vízre, tóra, balatonra -- jó ötlet :D
> - A POI az irányitószámos poligonban benne van .. --
> mivel az irányítószámok a poi helyez alapján az IRSZ
> poligon alapján generálódnak ez nem annyira releváns.
> Talán érdemesebb lenne a településsel (poligon)
> összevetni, hogy tényleg ott van ahol mondja magát.
> - a POI utcaneve - közel esik egy valós ugyanolyan nevü
> utcához. -- Tehetünk rá egy próbát, bát lehet ehhez az
> utcaneveket is javítani kellene.
> - ha van házszám az osm-ben, akkor azt is ellenörzi ...
> - stb ..
>
> Olyasmit lehetne, hogy a teljes címet bedobjuk
> Nominatim-ba bedobjuk és megnézzük a távolságot, ha van
> eredmény. Bár a tapasztalatok alapján akár a
> Magyarország poligon ellenőrzése sem lenne felesleges :D
>
> De előbb talán átírom többszálúra, ezzel leszorítandó a
> teljes elkészítési időt, ami nagyjából 50 körülire
> hízott az egyre több ellenőrzés hatására :) Lehet persze
> külön futtatni az importokat, de a kimenet generálását
> egylőre még nem.
>
> Köszi, ha ránézel részletesebben!
>
>
>
>
>
> Üdvözlettel / Best Regards:
>
> Kálmán (KAMI) Szalai
>
> 2018. július 16. 15:43 Imre Samu írta,
> <pella... at gmail.com <javascript:>>:
>
> > Ha összegyűjtjük a hibás adatokat, akkor természetesen elküldöm nekik. N
> > nem tudom hogy jön-e válasz részükről, és ezzel meddig húzzuk az importot.
> > Mondjuk mi legyen akkor ha nem válaszolnak érdemben.
>
> Nem akarom blokkolni ezzel az importot
> - Párhuzamosan elküldeni nekik és kiderül hogy
> hogyan reagálnak.. ha van visszajelzés akkor az
> jó - ha nincs akkor is megy tovább a "show"
> 10 eltérésből lehet, hogy 8-10 esetben az OSM a
> nyerő, de azért mi is tévedhetünk és nem árt a
> visszajelzés.
> Meg néha a településen belül is költöztetik a
> Tesco-t ( pl. egy új nagyobb épületbe költözik a
> város túlsó végén ..)
> Igazából kellene a tesco-nál egy közvetlen "szakmai"
> kapcsolat - aki később is rá tudna nézni az
> adatokra. - mert a karbantartás nem lesz könnyű ...
>
>
> >Ha meg egy hely nincs meg, és rossz helyre
> kerülne, akkor csak hozzuk létre a név; típust a
> megfelelő helyen,
> > akár a helyi erők bevonásával és a kereső jó eséllyel oda fogja tenni a megfelelő pontot.
> ezt nem pontosan értem ...
>
> Ha egy rossz helyre beimportálunk egy POI-t
> házszámmal és utcanévvel, akkor ezzel pár OSM-es
> keresőt is torzítunk, habár mindegyik más
> algoritmussal dolgozik.
>
>
>
> >Az imports listán nem nagyon jött több válasz. Akkor ez így elfogadva a részükről, vagy ott mire kell várni?
>
> Mégegyszer végig kell nézni a checklistet:
> https://wiki.openstreetmap.org/wiki/Import/Guidelines <https://wiki.openstreetmap.org/wiki/Import/Guidelines>
>
> A licensz a legfontosabb. ha 5 év múlva egy új
> jogász a Tesco-nál rákérdez - és az
> engedélykérőt(téged) nem tudjuk elérni, akkor ez
> kevés lesz, ami a honlapon van
> "*Licenc:*E-mailban kapott engedély: „Kérem,
> hogy használja a szabadon felhasználható listát, ami
> a honlapon van.” (2017. 11. 03.)"
> kellene valami licensz gyüjtőhely - amit a
> "core" mag el tud érni- addig is amig nincs hazai
> osm-es jogi szervezet, aki ezeket tárolná.
> Mi volt az engedélykérő levélben ( tartalmilag )
> és személy szerint ki és mikor válaszolt a Tesco
> részéről. ( óra perc, másodperc ...)
> <span
> style="background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:n
>
> --
> Magyar OSM Levelezőlista - openstreetmap-hungary at googlegroups.com
> leiratkozás: openstreetmap-hungary+unsubscribe at googlegroups.com
> ---
> Azért kapta ezt az üzenetet, mert feliratkozott a Google Csoportok
> „openstreetmap-hungary” csoportjára.
> Az erről a csoportról és az ahhoz kapcsolódó e-mailekről való
> leiratkozáshoz küldjön egy e-amailt a(z)
> openstreetmap-hungary+unsubscribe at googlegroups.com
> <mailto:openstreetmap-hungary+unsubscribe at googlegroups.com> címre.
> További lehetőségekért látogasson el ide:
> https://groups.google.com/d/optout.
További információk a(z) Talk-hu levelezőlistáról