[osm-hu] Tesco Import mehet?
Imre Samu
pella.samu at gmail.com
2018. Júl. 22., V, 17:18:44 UTC
> > https://data2.openstreetmap.hu/poijosmtesco.php
Közben Dömcsi megoldotta, mostmár figyelmeztet.
Imre Samu <pella.samu at gmail.com> ezt írta (időpont: 2018. júl. 22., V,
18:00):
> Szia Dömcsi!
>
> jó hogy te is belefojsz a megbeszélésbe .
>
> > Ez megtalálja a relationt is:
> > https://data2.openstreetmap.hu/poijosmtesco.php
> > Mindet megtalálta,a címkéket lehet bővíteni és utána pár perc alatt be
> lehet írni az összeset.
>
> Egyre töb eszközünk lesz .. :)
>
> de azért át kell nézni - mert a tiéd túl agressziv algoritmus miatt a
> mobiltelefonos boltokra talál rá,
> ( ha eltér a shop=* címkéjük, akkor tudsz egy figyelmeztetést rakni
> mellé? )
> pl.
> name=V-Tel Gsm Dunaújváros Tesco
> shop=mobile_phone
>
>
>
> Dömcsi <kititomi at gmail.com> ezt írta (időpont: 2018. júl. 22., V, 14:14):
>
>> Ez megtalálja a relationt is:
>>
>> https://data2.openstreetmap.hu/poijosmtesco.php
>>
>> Mindet megtalálta,a címkéket lehet bővíteni és utána pár perc alatt be
>> lehet írni az összeset.
>> Így talán egyszerűbb lenne és nem kéne az osm fájlt utólag bogarászni.
>>
>> 2018. július 22., vasárnap 13:59:18 UTC+2 időpontban Imre Samu a
>> következőt írta:
>>>
>>> >A Tesco-knál azt le tudnátok ellenőrizni, hogy a relationnak valóban
>>> relationnak kellene lennie? Ha igen, akkor hogyan lehet legegyszerűbben
>>> megkapni a geometriát.
>>> >Főleg a osm2pgsql adatbázisban tárolt adatoknál.
>>> >Vagy egyelőre csak hagyjam ki a relationokat, vagy javítsuk ki/át az
>>> OSM-ben? Mi a véleményetek?
>>>
>>> Ha az alap OSM-es térképen polygonként jelennek meg, akkor az osm2pgsql
>>> a "rendereléshez" már polygonként olvassa be.
>>> De csak akkor Ha:
>>>
>>> - egy viszonylag új osm2pgsql-t használsz.
>>> ( esetleg használd a hivatalos osm-es PPA-t
>>> https://github.com/gravitystorm/openstreetmap-carto/blob/master/Dockerfile.import
>>> ,
>>> de mivel ubuntu18.04 -re váltanak a napokban újabb változásokra
>>> lehet számítani )
>>>
>>> - osm2pgsql -t a Cartos beállításokkal benne az extra LUA beállításal
>>> használod: https://github.com/gravitystorm/openstreetmap-carto
>>> ( ebben benne van, hogy milyen kiemelt címkéket kell - területként
>>> használni még akkor is ha nincs area=yes
>>> és a "shop"/"amenity" benne van a listában - > kulcs a
>>> "openstreetmap-carto.lua" !
>>> ha alaposak akarunk lenni, akkor ide még talán fel kellene venni a
>>> "abandoned:amenity" - mellé az "abandoned:shop" -ot is .. meg a többi
>>> disused párját is ..
>>> ( mert a közelben lévő bezárt - hasonló nevü POI-kat is meg kellene
>>> találni )
>>>
>>> - A Carto ezeket az osm2pgsql betötési paramétereket használja
>>> # Importing data to a database
>>> osm2pgsql \
>>> --cache $OSM2PGSQL_CACHE \
>>> --number-processes $OSM2PGSQL_NUMPROC \
>>> --hstore \
>>> --multi-geometry \
>>> --database gis \
>>> --slim \
>>> --drop \
>>> --style openstreetmap-carto.style \
>>> --tag-transform-script openstreetmap-carto.lua \
>>> $OSM2PGSQL_DATAFILE
>>> ;;
>>>
>>>
>>> Pár ökölszabály ami javasolnék:
>>> - Használd az https://github.com/gravitystorm/openstreetmap-carto -os
>>> beállításokat ( vagy ezeket egészítsd ki )
>>> ( az itt lévő Docker beállítás megkönnyíti :
>>> https://github.com/gravitystorm/openstreetmap-carto/blob/master/DOCKER.md
>>> )
>>> - óvatosan használd ( néha inkább ne hasznád a geofabrik-os hungary
>>> extraktot )
>>> ( Nagyon régi "kivágó" polygont hasznának és a magyar határ menti
>>> terület egy része lemaradt )
>>> Ha valaminek nincs "párja" az osm-ben, akkor emiatt is lehet ...
>>>
>>> üdv,
>>> Imre
>>>
>>>
>>>
>>>
>>> KAMI911 KAMI911 <kam... at gmail.com> ezt írta (időpont: 2018. júl. 22.,
>>> V, 7:50):
>>>
>>>> Sziasztok,
>>>>
>>>> A Tesco-knál zt le tudnátok ellenőrizni, hogy a relationnak valóban
>>>> relationnak kellene lennie? Ha igen, akkor hogyan lehet legegyszerűbben
>>>> megkapni a geometriát. Főleg a osm2pgsql adatbázisban tárolt adatoknál.
>>>> Vagy a rels táblábla elemeiből csinálok egy listát és lekérem a weyeket
>>>> node-okat hozzá, aminek már lesz geometriája.
>>>>
>>>> Vagy egyelőre csak hagyjam ki a relationokat, vagy javítsuk ki/át az
>>>> OSM-ben? Mi a véleményetek?
>>>>
>>>> Köszi!
>>>>
>>>> Üdvözlettel / Best Regards:
>>>>
>>>> Kálmán (KAMI) Szalai
>>>>
>>>> 2018. július 20. 12:06 Imre Samu írta, <pella... at gmail.com>:
>>>>
>>>>>
>>>>> Nézegetem egy ideje -- de nem ilyan egyszerű ..
>>>>> Pár gondolat ..
>>>>>
>>>>>
>>>>> #1. az osm fileoknak szabványosnak kell lennie, most néha üres a
>>>>> TimeStamp, és az osmium program panaszkodik .
>>>>>
>>>>> osmium cat -f opl poi_address_merge_husmrktexp.osm > t.opl
>>>>> can not parse timestamp
>>>>>
>>>>> cat poi_address_merge_husmrktexp.osm | grep timestamp
>>>>> ...
>>>>> <node action="modify" changeset="99999" id="-4" lat="47.69258"
>>>>> lon="17.66049" *timestamp=""* uid="4579407" user="KAMI"
>>>>> version="99999">
>>>>>
>>>>>
>>>>>
>>>>> #2. Mélyebben elemezve:
>>>>>
>>>>> Szerintem ezek azok, amelyeknek nem volt OSM-es párja
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-gyor-ipar-utca"/>
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-level-szovetkezet-utca
>>>>> "/>
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-movar-szent-i-kir-utca
>>>>> "/>
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-arena-plaza-hipermarket"/>
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-csorna-hipermarket"/>
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-eger-agria-park-szupermarket
>>>>> "/>
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-koszeg-hipermarket"/>
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-sarvar-hipermarket"/>
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-szeged-moravaros-hipermarket
>>>>> "/>
>>>>> <tag k="website" v="
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-szerencs-hipermarket"/>
>>>>>
>>>>> Kézzel (1 kivételével) találtam osm-es párjukat -de, persze az én
>>>>> manuális keresésemben is lehet probléma ..
>>>>>
>>>>> Tesco Szerencs ? :
>>>>> https://www.openstreetmap.org/node/1498877225
>>>>> Tesco Szeged Móraváros ? :
>>>>> https://www.openstreetmap.org/node/4736930561
>>>>> Tesco Sárvár ? :
>>>>> https://www.openstreetmap.org/relation/7419051
>>>>> Tesco Kőszeg ? : https://www.openstreetmap.org/way/553324162
>>>>> Tesco Eger - agria park? :
>>>>> https://www.openstreetmap.org/node/4840059322
>>>>> Tesco Csorna - hiper? :
>>>>> https://www.openstreetmap.org/relation/3900079
>>>>> Tesco Arena plaza :
>>>>> https://www.openstreetmap.org/node/1025017256
>>>>> Tesco Győr - ipar utca : https://www.openstreetmap.org/way/243314923
>>>>>
>>>>> Ezeket meg tudod nézni? ( + még azt, hogy miért nem matchelődtek
>>>>> össze ? )
>>>>>
>>>>> A "
>>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-movar-szent-i-kir-utca"
>>>>> mintha 2x szerepelne 1x van párja, 1x nincs.
>>>>> 1 utcában 2
>>>>> <https://maps.google.com/?q=1+utc%C3%A1ban+2&entry=gmail&source=g>
>>>>> tescos bolt is van - de mintha mindkettő ugyanarra az URL -re mutatna
>>>>> TESCO expressz Móvár - Szent I. kir. utca Mosonmagyaróvár, Szent I.
>>>>> kir. u. 96.
>>>>> TESCO expressz Móvár - Szent I. kir. utca Mosonmagyaróvár, Szent I.
>>>>> kir. u. 44.
>>>>>
>>>>> * poi_address_merge_hutescoexp.osm#L1184 96.-os házszám - megvan
>>>>> * poi_address_merge_hutescoexp.osm#L1215 44.-es házszám - talán ez
>>>>> ? https://www.openstreetmap.org/node/971131151 ( Ezt nem importálnám
>>>>> be )
>>>>> Akár egy duplikátum ellenörzést is rakhatnál a kódba, hogy más
>>>>> adatoknál automatikusan detektálódjék.
>>>>> és ezeknél a "branch=" -hez is be kellene tenni a házszámot,hogy uniq
>>>>> legyen.
>>>>>
>>>>> A legnehezebb és nyomozandó a Tesco Levél - Szövetkezeti utca ..
>>>>> Itt nincs jelezve a Tesco - de "talán" ez a 2 lehetne a Tesco ~
>>>>> - https://www.openstreetmap.org/node/3456417480 (tuhu import )
>>>>> - https://www.openstreetmap.org/node/4939177711 ( route4u import )
>>>>> Én ide nem importálnék egy 3. POI-t ( Tesco-s importot ) ... mert
>>>>> csak a zajt növeljük vele ... , vagyis ezt szerintem hagyjuk ki.
>>>>>
>>>>>
>>>>> #4. Címkék / értékek
>>>>>
>>>>> Én az eredeti source-ot ( route4u, tuhu ) nem ütném felül - hogyha a
>>>>> koordináta onnan származik.
>>>>> ezt gondoljuk még át.
>>>>> Ez érinti a source= és a source:date= címkéket.
>>>>> ( legalábbis nekem kényelmes lenne az overpassal ezeket leszürni )
>>>>> Valami más címkét használnék itt.
>>>>> pl mi lenne ha csak ez lenne : source:tesco.hu:date=
>>>>>
>>>>>
>>>>> Én is a changset tag-be raknám bele a
>>>>> <tag k="import" v="osm_poi_matchmaker"/>
>>>>> plusz még ki lehet a changset címkéket egészíteni más az importálásra,
>>>>> engedélyre, megbeszélésre vonatkozó címkékkel..
>>>>>
>>>>>
>>>>> Elképzelhetőnek tartom, hogy nem egységes adószámot használnak egyes
>>>>> üzletláncok ( franchise, stb más ok miatt )
>>>>> Szerintem erre rá kellene kérdezni a tesconál. pl. Az S-Marktoknak
>>>>> is ugyanaz az adószáma ?
>>>>> Ha kérdéses , akkor most inkább ne importáljuk be, ( A kevesebb
>>>>> néha több. főleg ha karban is kell tartani őket )
>>>>>
>>>>> Néhány szöveges megnevezésnél dupla space-ek vannak, ezeket ki
>>>>> lehetne szedni ? pl. a "Vihar" szó előtt.
>>>>> <tag k="branch" v="Expressz Bp. - Vihar utca"/>
>>>>> Rejtett és furcsa Unicode karakterekre is lehetne ellenörizni .
>>>>>
>>>>> Összefoglaló:
>>>>>
>>>>> - összesen én 206 tesco-s boltot látok az .osm fileokban.
>>>>> és mintha ezek után csak 2-nek nem lenne OSM-es párja, azokat
>>>>> (most) én nem importálnám be, majd később egy frissitéssel bekerülnek.
>>>>> Ezt a ketőt kihagynám:
>>>>> * TESCO expressz Levél - Szövetkezet utca Levél, Szövetkezet u. 84
>>>>> <https://maps.google.com/?q=Sz%C3%B6vetkezet+u.+84&entry=gmail&source=g>
>>>>> .
>>>>> * TESCO expressz Móvár - Szent I. kir. utca Mosonmagyaróvár,
>>>>> Szent I. kir. u. 44.
>>>>> ( A környékükön van bolt poi az OSM-ben , vagyis a túristák emiatt
>>>>> nem halnak éhen. )
>>>>>
>>>>> - Vigyázni kell mert most sok adat ( tuhu,route4u) importokra talál
>>>>> rá - azokar módosítja meg , ezeket jobban ellenörizni kell.
>>>>> és hogy később is ellenörizni tudjuk a source= címkét megtartanám.
>>>>>
>>>>> - ha jól olvason a wikiben - akkor branch= értékének uniq -nak
>>>>> kellene lennie, ezt ellenörizni kellene és uniq-á kellene tenni.
>>>>>
>>>>> - sok mindent még nem ellenöriztem le ...
>>>>>
>>>>> most hirtelen ennyi,
>>>>> elnézést a késlekedésért ... igyekeztem alaposnak lenni mint gyorsnak
>>>>> , de még mindig nem néztem át mindent ...
>>>>>
>>>>>
>>>>> üdv,
>>>>> Imre
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>> KAMI911 KAMI911 <kam... at gmail.com> ezt írta (időpont: 2018. júl. 16.,
>>>>> H, 17:38):
>>>>>
>>>>>> Szia Imre,
>>>>>>
>>>>>> Köszi, hogy foglalkozol a témával. Jó ha most lefektetjük a stabil
>>>>>> alapokat, és akkor majd a többi importnál is tudjuk alkalmazni a most
>>>>>> meghatározott elveket.
>>>>>> Próbálok valami kapcsolatot kiépíteni, de az igazság az, hogy az
>>>>>> ügyfélszolgálati rétegen nemigen jutok tovább. A válaszok onnan jönnek.
>>>>>>
>>>>>> "ezt nem pontosan értem ..."
>>>>>>
>>>>>> Ha van olyan POI ami rossz helyre kerülnek, akkor ha tudjuk a jó
>>>>>> helyet, elég ott létrehozni a POI-t az importáló bizonyos határok között
>>>>>> meg fogja találni.
>>>>>>
>>>>>> Mondd, hogy hova küldjem a levelet és küldöm oda. Valami hasonló van
>>>>>> a MOL esetében is.
>>>>>> Az eredeti levél így nézett ki:
>>>>>>
>>>>>>
>>>>>> https://github.com/KAMI911/E12n/blob/master/osm/getting_permission_shop.md
>>>>>>
>>>>>> Remélem ez megfelelő, ha nem jöhet PR. :)
>>>>>>
>>>>>> Az import ellenőrzésének magasabb foka jó lehet.
>>>>>>
>>>>>> - nem importálunk vízre, tóra, balatonra -- jó ötlet :D
>>>>>> - A POI az irányitószámos poligonban benne van .. -- mivel az
>>>>>> irányítószámok a poi helyez alapján az IRSZ poligon alapján generálódnak ez
>>>>>> nem annyira releváns. Talán érdemesebb lenne a településsel (poligon)
>>>>>> összevetni, hogy tényleg ott van ahol mondja magát.
>>>>>> - a POI utcaneve - közel esik egy valós ugyanolyan nevü utcához. --
>>>>>> Tehetünk rá egy próbát, bát lehet ehhez az utcaneveket is javítani kellene.
>>>>>> - ha van házszám az osm-ben, akkor azt is ellenörzi ...
>>>>>> - stb ..
>>>>>>
>>>>>> Olyasmit lehetne, hogy a teljes címet bedobjuk Nominatim-ba bedobjuk
>>>>>> és megnézzük a távolságot, ha van eredmény. Bár a tapasztalatok alapján
>>>>>> akár a Magyarország poligon ellenőrzése sem lenne felesleges :D
>>>>>>
>>>>>> De előbb talán átírom többszálúra, ezzel leszorítandó a teljes
>>>>>> elkészítési időt, ami nagyjából 50 körülire hízott az egyre több ellenőrzés
>>>>>> hatására :) Lehet persze külön futtatni az importokat, de a kimenet
>>>>>> generálását egylőre még nem.
>>>>>>
>>>>>> Köszi, ha ránézel részletesebben!
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> Üdvözlettel / Best Regards:
>>>>>>
>>>>>> Kálmán (KAMI) Szalai
>>>>>>
>>>>>> 2018. július 16. 15:43 Imre Samu írta, <pella... at gmail.com>:
>>>>>>
>>>>>>> > Ha összegyűjtjük a hibás adatokat, akkor természetesen elküldöm
>>>>>>> nekik. N
>>>>>>> > nem tudom hogy jön-e válasz részükről, és ezzel meddig húzzuk az
>>>>>>> importot.
>>>>>>> > Mondjuk mi legyen akkor ha nem válaszolnak érdemben.
>>>>>>>
>>>>>>> Nem akarom blokkolni ezzel az importot
>>>>>>> - Párhuzamosan elküldeni nekik és kiderül hogy hogyan reagálnak..
>>>>>>> ha van visszajelzés akkor az jó - ha nincs akkor is megy tovább a "show"
>>>>>>> 10 eltérésből lehet, hogy 8-10 esetben az OSM a nyerő, de azért mi
>>>>>>> is tévedhetünk és nem árt a visszajelzés.
>>>>>>> Meg néha a településen belül is költöztetik a Tesco-t ( pl. egy új
>>>>>>> nagyobb épületbe költözik a város túlsó végén ..)
>>>>>>> Igazából kellene a tesco-nál egy közvetlen "szakmai" kapcsolat - aki
>>>>>>> később is rá tudna nézni az adatokra. - mert a karbantartás nem lesz
>>>>>>> könnyű ...
>>>>>>>
>>>>>>>
>>>>>>> >Ha meg egy hely nincs meg, és rossz helyre kerülne, akkor csak
>>>>>>> hozzuk létre a név; típust a megfelelő helyen,
>>>>>>> > akár a helyi erők bevonásával és a kereső jó eséllyel oda fogja
>>>>>>> tenni a megfelelő pontot.
>>>>>>>
>>>>>>> ezt nem pontosan értem ...
>>>>>>>
>>>>>>> Ha egy rossz helyre beimportálunk egy POI-t házszámmal és
>>>>>>> utcanévvel, akkor ezzel pár OSM-es keresőt is torzítunk, habár
>>>>>>> mindegyik más algoritmussal dolgozik.
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> >Az imports listán nem nagyon jött több válasz. Akkor ez így
>>>>>>> elfogadva a részükről, vagy ott mire kell várni?
>>>>>>>
>>>>>>> Mégegyszer végig kell nézni a checklistet:
>>>>>>> https://wiki.openstreetmap.org/wiki/Import/Guidelines
>>>>>>>
>>>>>>> A licensz a legfontosabb. ha 5 év múlva egy új jogász a Tesco-nál
>>>>>>> rákérdez - és az engedélykérőt(téged) nem tudjuk elérni, akkor ez kevés
>>>>>>> lesz, ami a honlapon van
>>>>>>> "*Licenc:* E-mailban kapott engedély: „Kérem, hogy használja
>>>>>>> a szabadon felhasználható listát, ami a honlapon van.” (2017. 11. 03.)"
>>>>>>> kellene valami licensz gyüjtőhely - amit a "core" mag el tud
>>>>>>> érni- addig is amig nincs hazai osm-es jogi szervezet, aki ezeket tárolná.
>>>>>>> Mi volt az engedélykérő levélben ( tartalmilag ) és személy
>>>>>>> szerint ki és mikor válaszolt a Tesco részéről. ( óra perc,
>>>>>>> másodperc ...)
>>>>>>> <span
>>>>>>> style="background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:n
>>>>>>>
>>>>>> --
>> Magyar OSM Levelezőlista - openstreetmap-hungary at googlegroups.com
>> leiratkozás: openstreetmap-hungary+unsubscribe at googlegroups.com
>> ---
>> Azért kapta ezt az üzenetet, mert feliratkozott a Google Csoportok
>> „openstreetmap-hungary” csoportjára.
>> Az erről a csoportról és az ahhoz kapcsolódó e-mailekről való
>> leiratkozáshoz küldjön egy e-amailt a(z)
>> openstreetmap-hungary+unsubscribe at googlegroups.com címre.
>> További lehetőségekért látogasson el ide:
>> https://groups.google.com/d/optout.
>>
>
--------- következő rész ---------
Egy csatolt HTML állomány át lett konvertálva...
URL: <http://lists.openstreetmap.org/pipermail/talk-hu/attachments/20180722/2e422d3c/attachment.htm>
További információk a(z) Talk-hu levelezőlistáról