[osm-hu] Tesco Import mehet?

2018. Júl. 22., V, 16:00:11 UTC

Szia Dömcsi!

jó hogy te is belefojsz a megbeszélésbe .

> Ez megtalálja a relationt is:
> https://data2.openstreetmap.hu/poijosmtesco.php
> Mindet megtalálta,a címkéket lehet bővíteni és utána pár perc alatt be
lehet írni az összeset.

Egyre töb eszközünk lesz ..  :)

de azért át kell nézni - mert a tiéd túl agressziv algoritmus miatt a
mobiltelefonos boltokra talál rá,
( ha eltér a shop=* címkéjük, akkor  tudsz egy figyelmeztetést rakni mellé?
)
pl.
name=V-Tel Gsm Dunaújváros Tesco
shop=mobile_phone

Dömcsi <kititomi at gmail.com> ezt írta (időpont: 2018. júl. 22., V, 14:14):

> Ez megtalálja a relationt is:
>
> https://data2.openstreetmap.hu/poijosmtesco.php
>
> Mindet megtalálta,a címkéket lehet bővíteni és utána pár perc alatt be
> lehet írni az összeset.
> Így talán egyszerűbb lenne és nem kéne az osm fájlt utólag bogarászni.
>
> 2018. július 22., vasárnap 13:59:18 UTC+2 időpontban Imre Samu a
> következőt írta:
>>
>> >A Tesco-knál azt le tudnátok ellenőrizni, hogy a relationnak valóban
>> relationnak kellene lennie? Ha igen, akkor hogyan lehet legegyszerűbben
>> megkapni a geometriát.
>> >Főleg a osm2pgsql adatbázisban tárolt adatoknál.
>> >Vagy egyelőre csak hagyjam ki a relationokat, vagy javítsuk ki/át az
>> OSM-ben? Mi a véleményetek?
>>
>> Ha az alap OSM-es térképen polygonként jelennek meg, akkor az osm2pgsql a
>> "rendereléshez" már polygonként olvassa be.
>> De csak akkor Ha:
>>
>> - egy viszonylag új osm2pgsql-t használsz.
>>     ( esetleg használd a hivatalos osm-es PPA-t
>> https://github.com/gravitystorm/openstreetmap-carto/blob/master/Dockerfile.import
>>  ,
>>       de mivel ubuntu18.04 -re váltanak a napokban újabb változásokra
>> lehet számítani  )
>>
>> - osm2pgsql -t   a Cartos beállításokkal benne az extra LUA beállításal
>> használod:   https://github.com/gravitystorm/openstreetmap-carto
>>    (   ebben benne van, hogy milyen kiemelt címkéket kell  - területként
>> használni még akkor is ha nincs area=yes
>>        és a "shop"/"amenity" benne van a listában - >   kulcs a
>> "openstreetmap-carto.lua" !
>>     ha alaposak akarunk lenni, akkor ide még talán fel kellene venni a
>> "abandoned:amenity" - mellé az "abandoned:shop" -ot is ..  meg a többi
>> disused párját is ..
>>     ( mert a közelben lévő bezárt -  hasonló nevü POI-kat is meg kellene
>> találni )
>>
>> -  A  Carto ezeket az osm2pgsql betötési paramétereket használja
>> # Importing data to a database
>> osm2pgsql \
>> --cache $OSM2PGSQL_CACHE \
>> --number-processes $OSM2PGSQL_NUMPROC \
>> --hstore \
>> --multi-geometry \
>> --database gis \
>> --slim \
>> --drop \
>> --style openstreetmap-carto.style \
>> --tag-transform-script openstreetmap-carto.lua \
>> $OSM2PGSQL_DATAFILE
>> ;;
>>
>>
>> Pár  ökölszabály ami javasolnék:
>> -  Használd az  https://github.com/gravitystorm/openstreetmap-carto -os
>> beállításokat ( vagy ezeket egészítsd ki )
>>        ( az itt lévő Docker beállítás megkönnyíti :
>> https://github.com/gravitystorm/openstreetmap-carto/blob/master/DOCKER.md
>> )
>> -  óvatosan használd ( néha inkább ne hasznád  a geofabrik-os hungary
>> extraktot )
>>       ( Nagyon régi "kivágó" polygont hasznának és a magyar határ menti
>> terület egy része lemaradt )
>>       Ha valaminek nincs "párja" az osm-ben, akkor emiatt is lehet ...
>>
>> üdv,
>>  Imre
>>
>>
>>
>>
>> KAMI911 KAMI911 <kam... at gmail.com> ezt írta (időpont: 2018. júl. 22., V,
>> 7:50):
>>
>>> Sziasztok,
>>>
>>> A Tesco-knál zt le tudnátok ellenőrizni, hogy a relationnak valóban
>>> relationnak kellene lennie? Ha igen, akkor hogyan lehet legegyszerűbben
>>> megkapni a geometriát. Főleg a osm2pgsql adatbázisban tárolt adatoknál.
>>> Vagy a rels táblábla elemeiből csinálok egy listát és lekérem a weyeket
>>> node-okat hozzá, aminek már lesz geometriája.
>>>
>>> Vagy egyelőre csak hagyjam ki a relationokat, vagy javítsuk ki/át az
>>> OSM-ben? Mi a véleményetek?
>>>
>>> Köszi!
>>>
>>> Üdvözlettel / Best Regards:
>>>
>>> Kálmán (KAMI) Szalai
>>>
>>> 2018. július 20. 12:06 Imre Samu írta, <pella... at gmail.com>:
>>>
>>>>
>>>> Nézegetem egy ideje -- de nem ilyan egyszerű ..
>>>> Pár gondolat ..
>>>>
>>>>
>>>> #1.   az   osm fileoknak szabványosnak kell lennie,  most néha üres a
>>>> TimeStamp, és az osmium program panaszkodik .
>>>>
>>>> osmium cat -f opl  poi_address_merge_husmrktexp.osm >  t.opl
>>>> can not parse timestamp
>>>>
>>>> cat poi_address_merge_husmrktexp.osm | grep timestamp
>>>> ...
>>>>  <node action="modify" changeset="99999" id="-4" lat="47.69258"
>>>> lon="17.66049" *timestamp=""* uid="4579407" user="KAMI"
>>>> version="99999">
>>>>
>>>>
>>>>
>>>> #2.    Mélyebben elemezve:
>>>>
>>>> Szerintem ezek azok, amelyeknek nem volt OSM-es párja
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-gyor-ipar-utca"/>
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-level-szovetkezet-utca
>>>> "/>
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-movar-szent-i-kir-utca
>>>> "/>
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-arena-plaza-hipermarket"/>
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-csorna-hipermarket"/>
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-eger-agria-park-szupermarket
>>>> "/>
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-koszeg-hipermarket"/>
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-sarvar-hipermarket"/>
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-szeged-moravaros-hipermarket
>>>> "/>
>>>>     <tag k="website" v="
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-szerencs-hipermarket"/>
>>>>
>>>> Kézzel (1 kivételével) találtam  osm-es párjukat -de,  persze az én
>>>> manuális keresésemben is lehet probléma ..
>>>>
>>>> Tesco Szerencs ?         :
>>>> https://www.openstreetmap.org/node/1498877225
>>>> Tesco Szeged Móraváros ? :
>>>> https://www.openstreetmap.org/node/4736930561
>>>> Tesco Sárvár ?           :
>>>> https://www.openstreetmap.org/relation/7419051
>>>> Tesco Kőszeg ?           : https://www.openstreetmap.org/way/553324162
>>>> Tesco Eger - agria park? :
>>>> https://www.openstreetmap.org/node/4840059322
>>>> Tesco Csorna - hiper?    :
>>>> https://www.openstreetmap.org/relation/3900079
>>>> Tesco Arena plaza        :
>>>> https://www.openstreetmap.org/node/1025017256
>>>> Tesco Győr - ipar utca   : https://www.openstreetmap.org/way/243314923
>>>>
>>>> Ezeket meg tudod nézni?  ( + még azt,  hogy miért nem matchelődtek
>>>> össze ? )
>>>>
>>>> A "
>>>> https://www.tesco.hu/aruhazak/aruhaz/tesco-expressz-movar-szent-i-kir-utca"
>>>> mintha 2x szerepelne  1x van párja, 1x nincs.
>>>> 1 utcában 2
>>>> <https://maps.google.com/?q=1+utc%C3%A1ban+2&entry=gmail&source=g>
>>>> tescos bolt is van - de mintha mindkettő ugyanarra az URL -re mutatna
>>>> TESCO expressz Móvár - Szent I. kir. utca  Mosonmagyaróvár, Szent I.
>>>> kir. u. 96.
>>>> TESCO expressz Móvár - Szent I. kir. utca  Mosonmagyaróvár, Szent I.
>>>> kir. u. 44.
>>>>
>>>> * poi_address_merge_hutescoexp.osm#L1184    96.-os házszám   - megvan
>>>> * poi_address_merge_hutescoexp.osm#L1215    44.-es házszám  - talán ez
>>>> ? https://www.openstreetmap.org/node/971131151  ( Ezt nem importálnám
>>>> be )
>>>> Akár egy duplikátum ellenörzést is rakhatnál a kódba, hogy más
>>>> adatoknál automatikusan detektálódjék.
>>>> és ezeknél a "branch=" -hez is be kellene tenni a házszámot,hogy uniq
>>>> legyen.
>>>>
>>>> A legnehezebb  és nyomozandó a Tesco Levél - Szövetkezeti utca ..
>>>> Itt nincs jelezve a Tesco - de "talán" ez a 2 lehetne a Tesco ~
>>>> - https://www.openstreetmap.org/node/3456417480  (tuhu import )
>>>> - https://www.openstreetmap.org/node/4939177711 ( route4u import )
>>>> Én ide nem importálnék egy 3. POI-t   ( Tesco-s importot )  ... mert
>>>> csak a zajt növeljük vele ... , vagyis ezt  szerintem hagyjuk ki.
>>>>
>>>>
>>>> #4. Címkék / értékek
>>>>
>>>> Én az eredeti source-ot  ( route4u, tuhu ) nem ütném felül  - hogyha a
>>>> koordináta onnan származik.
>>>> ezt gondoljuk még át.
>>>> Ez érinti a source= és a source:date= címkéket.
>>>> ( legalábbis nekem kényelmes lenne az overpassal ezeket leszürni  )
>>>> Valami más címkét használnék itt.
>>>> pl mi lenne ha csak ez lenne :   source:tesco.hu:date=
>>>>
>>>>
>>>> Én is a changset tag-be raknám bele a
>>>> <tag k="import" v="osm_poi_matchmaker"/>
>>>> plusz még ki lehet a changset címkéket egészíteni más az importálásra,
>>>> engedélyre, megbeszélésre  vonatkozó címkékkel..
>>>>
>>>>
>>>> Elképzelhetőnek tartom, hogy nem egységes adószámot használnak egyes
>>>> üzletláncok ( franchise, stb más ok miatt )
>>>> Szerintem erre rá kellene kérdezni a tesconál.    pl. Az S-Marktoknak
>>>> is ugyanaz az adószáma ?
>>>> Ha kérdéses , akkor most inkább ne importáljuk be,    ( A kevesebb néha
>>>> több.  főleg ha karban is kell tartani őket )
>>>>
>>>> Néhány szöveges megnevezésnél dupla space-ek vannak,   ezeket ki
>>>> lehetne szedni ? pl. a "Vihar" szó előtt.
>>>> <tag k="branch" v="Expressz Bp. -  Vihar utca"/>
>>>> Rejtett és furcsa Unicode karakterekre is lehetne ellenörizni .
>>>>
>>>> Összefoglaló:
>>>>
>>>> -  összesen én 206 tesco-s boltot látok az .osm fileokban.
>>>>     és mintha  ezek után csak 2-nek nem lenne OSM-es párja, azokat
>>>> (most) én nem importálnám be, majd később egy frissitéssel bekerülnek.
>>>>   Ezt a ketőt kihagynám:
>>>>   *  TESCO expressz Levél - Szövetkezet utca  Levél, Szövetkezet u. 84
>>>> <https://maps.google.com/?q=Sz%C3%B6vetkezet+u.+84&entry=gmail&source=g>
>>>> .
>>>>   *  TESCO expressz Móvár - Szent I. kir. utca  Mosonmagyaróvár, Szent
>>>> I. kir. u. 44.
>>>>  ( A környékükön van bolt poi az OSM-ben , vagyis a túristák emiatt nem
>>>> halnak éhen. )
>>>>
>>>> - Vigyázni kell  mert most sok adat ( tuhu,route4u) importokra talál rá
>>>> - azokar módosítja meg ,   ezeket jobban ellenörizni kell.
>>>>    és hogy később is ellenörizni tudjuk a source=  címkét megtartanám.
>>>>
>>>> - ha jól olvason a wikiben - akkor   branch=   értékének uniq -nak
>>>> kellene lennie, ezt ellenörizni kellene és uniq-á kellene tenni.
>>>>
>>>> - sok mindent még nem ellenöriztem le ...
>>>>
>>>> most hirtelen ennyi,
>>>> elnézést a késlekedésért ...  igyekeztem alaposnak lenni mint gyorsnak
>>>> , de még mindig nem néztem át mindent ...
>>>>
>>>>
>>>> üdv,
>>>> Imre
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>> KAMI911 KAMI911 <kam... at gmail.com> ezt írta (időpont: 2018. júl. 16.,
>>>> H, 17:38):
>>>>
>>>>> Szia Imre,
>>>>>
>>>>> Köszi, hogy foglalkozol a témával. Jó ha most lefektetjük a stabil
>>>>> alapokat, és akkor majd a többi importnál is tudjuk alkalmazni a most
>>>>> meghatározott elveket.
>>>>> Próbálok valami kapcsolatot kiépíteni, de az igazság az, hogy az
>>>>> ügyfélszolgálati rétegen nemigen jutok tovább. A válaszok onnan jönnek.
>>>>>
>>>>> "ezt nem pontosan értem ..."
>>>>>
>>>>> Ha van olyan POI ami rossz helyre kerülnek, akkor ha tudjuk a jó
>>>>> helyet, elég ott létrehozni a POI-t az importáló bizonyos határok között
>>>>> meg fogja találni.
>>>>>
>>>>> Mondd, hogy hova küldjem a levelet és küldöm oda. Valami hasonló van a
>>>>> MOL esetében is.
>>>>> Az eredeti levél így nézett ki:
>>>>>
>>>>>
>>>>> https://github.com/KAMI911/E12n/blob/master/osm/getting_permission_shop.md
>>>>>
>>>>> Remélem ez megfelelő, ha nem jöhet PR. :)
>>>>>
>>>>> Az import ellenőrzésének magasabb foka jó lehet.
>>>>>
>>>>> - nem importálunk vízre, tóra, balatonra -- jó ötlet :D
>>>>> - A POI az irányitószámos poligonban benne van ..  -- mivel az
>>>>> irányítószámok a poi helyez alapján az IRSZ poligon alapján generálódnak ez
>>>>> nem annyira releváns. Talán érdemesebb lenne a településsel (poligon)
>>>>> összevetni, hogy tényleg ott van ahol mondja magát.
>>>>> - a POI utcaneve - közel esik egy valós ugyanolyan nevü utcához. --
>>>>> Tehetünk rá egy próbát, bát lehet ehhez az utcaneveket is javítani kellene.
>>>>> - ha van házszám az osm-ben, akkor azt is ellenörzi ...
>>>>> - stb ..
>>>>>
>>>>> Olyasmit lehetne, hogy a teljes címet bedobjuk Nominatim-ba bedobjuk
>>>>> és megnézzük a távolságot, ha van eredmény. Bár a tapasztalatok alapján
>>>>> akár a Magyarország poligon ellenőrzése sem lenne felesleges :D
>>>>>
>>>>> De előbb talán átírom többszálúra, ezzel leszorítandó a teljes
>>>>> elkészítési időt, ami nagyjából 50 körülire hízott az egyre több ellenőrzés
>>>>> hatására :) Lehet persze külön futtatni az importokat, de a kimenet
>>>>> generálását egylőre még nem.
>>>>>
>>>>> Köszi, ha ránézel részletesebben!
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>> Üdvözlettel / Best Regards:
>>>>>
>>>>> Kálmán (KAMI) Szalai
>>>>>
>>>>> 2018. július 16. 15:43 Imre Samu írta, <pella... at gmail.com>:
>>>>>
>>>>>> >  Ha összegyűjtjük a hibás adatokat, akkor természetesen elküldöm
>>>>>> nekik. N
>>>>>> >  nem tudom hogy jön-e válasz részükről, és ezzel meddig húzzuk az
>>>>>> importot.
>>>>>> > Mondjuk mi legyen akkor ha nem válaszolnak érdemben.
>>>>>>
>>>>>> Nem akarom blokkolni ezzel az importot
>>>>>> -  Párhuzamosan elküldeni nekik és kiderül hogy hogyan reagálnak..
>>>>>> ha van visszajelzés akkor az jó - ha nincs akkor is megy tovább a "show"
>>>>>> 10 eltérésből lehet, hogy 8-10 esetben az OSM a nyerő,  de azért mi
>>>>>> is tévedhetünk és nem árt a visszajelzés.
>>>>>> Meg néha a településen belül is költöztetik a Tesco-t (  pl. egy új
>>>>>> nagyobb épületbe költözik a város túlsó végén ..)
>>>>>> Igazából kellene a tesco-nál egy közvetlen "szakmai" kapcsolat - aki
>>>>>> később is rá tudna nézni az adatokra.  -   mert a karbantartás nem lesz
>>>>>> könnyű  ...
>>>>>>
>>>>>>
>>>>>>  >Ha meg egy hely nincs meg, és rossz helyre kerülne, akkor csak
>>>>>> hozzuk létre a név; típust a megfelelő helyen,
>>>>>> > akár a helyi erők bevonásával és a kereső jó eséllyel oda fogja
>>>>>> tenni a megfelelő pontot.
>>>>>>
>>>>>> ezt nem pontosan értem ...
>>>>>>
>>>>>> Ha egy rossz helyre beimportálunk egy  POI-t    házszámmal és
>>>>>> utcanévvel, akkor ezzel pár OSM-es keresőt is torzítunk, habár
>>>>>> mindegyik más algoritmussal dolgozik.
>>>>>>
>>>>>>
>>>>>>
>>>>>> >Az imports listán nem nagyon jött több válasz. Akkor ez így
>>>>>> elfogadva a részükről, vagy ott mire kell várni?
>>>>>>
>>>>>> Mégegyszer végig kell nézni a checklistet:
>>>>>> https://wiki.openstreetmap.org/wiki/Import/Guidelines
>>>>>>
>>>>>> A licensz a legfontosabb.  ha 5 év múlva egy új jogász a Tesco-nál
>>>>>> rákérdez - és az engedélykérőt(téged) nem tudjuk  elérni,  akkor ez kevés
>>>>>> lesz, ami a honlapon van
>>>>>>       "*Licenc:* E-mailban kapott engedély: „Kérem, hogy használja a
>>>>>> szabadon felhasználható listát, ami a honlapon van.” (2017. 11. 03.)"
>>>>>>    kellene valami licensz gyüjtőhely - amit a "core" mag el tud érni-
>>>>>> addig is amig nincs hazai osm-es jogi szervezet, aki ezeket tárolná.
>>>>>>    Mi volt az engedélykérő levélben ( tartalmilag ) és személy
>>>>>> szerint ki és mikor válaszolt a Tesco részéről.   ( óra perc,
>>>>>> másodperc ...)
>>>>>> <span
>>>>>> style="background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:n
>>>>>>
>>>>> --
> Magyar OSM Levelezőlista - openstreetmap-hungary at googlegroups.com
> leiratkozás: openstreetmap-hungary+unsubscribe at googlegroups.com
> ---
> Azért kapta ezt az üzenetet, mert feliratkozott a Google Csoportok
> „openstreetmap-hungary” csoportjára.
> Az erről a csoportról és az ahhoz kapcsolódó e-mailekről való
> leiratkozáshoz küldjön egy e-amailt a(z)
> openstreetmap-hungary+unsubscribe at googlegroups.com címre.
> További lehetőségekért látogasson el ide:
> https://groups.google.com/d/optout.
>
--------- következő rész ---------
Egy csatolt HTML állomány át lett konvertálva...
URL: <http://lists.openstreetmap.org/pipermail/talk-hu/attachments/20180722/efaf81c6/attachment.htm>