[osm-hu] Re: * Import
Imre Samu
pella.samu at gmail.com
2018. Dec. 24., H, 09:34:41 UTC
sokkal jobb :)
> A postás import szerintetek milyen állapotban van? Esetleg mehetne az,
kisebbtől a nagyobbig csomag -> csekk -> partner -> posta
két megjegyzésem lenne:
#.1
most jó, hogy van duplikált szűrés - de ezeket talán valahogy másképp
kellene kezelni mint most.
*https://travis-ci.org/KAMI911/osm-import-request
<https://travis-ci.org/KAMI911/osm-import-request>*
*./hu_posta/poi_address_merge_hupostapp.osm*
*All elements : 488*
* 2 <!-- OSM link: https://osm.org/node/3469960863
<https://osm.org/node/3469960863> -->*
*Duplicated elements : 1*
*New elements : 450*
vagyis a legvalószínűbb párt kellene csak kiirni,
de jelezni kellene valahogy, hogy van egy másik jelölt is, vagyis óvatosan
kell kezelni, beimportálni.
Ahogy egyre inkább az autómatákat ellenörizzük, egyre inkább találunk
közeli 50m-en belüli automatákat.
ATM például lehet egy bevásárló központ bejáratánál a földszinten, meg a 3.
emeleten a Bankfiók mellett is , de a koordintájuk miatt lehet, hogy 20m-es
távolságot mérünk.
Amig csak a Bank nevét tartalmazza addig nincs ezzel gond, de ha az ATM
egyedi azonosítóját is be akarjuk lőni - akkor lehet, hogy pont
felcseréljük az importtal.
#2. Nekem kellene egy olyan lista is, amiben a páratlan OSM-es POI-kat
tünteted fel, ha marad ilyen a párosítás után.
Vagyis az OSM-ben szerepel mit POSTA , de a legfrisebb POSTA adatokban már
nem szerepel.
Ilyenkor kell egy FIXME - és meg kell nézni tényleg van-e ott működő Posta.
Ezzel még a párosítást is tudnánk tesztelni.
amúgy egyre jobb,
üdv,
Imre
KAMI911 KAMI911 <kami911 at gmail.com> ezt írta (időpont: 2018. dec. 24., H,
7:58):
> Sziasztok,
>
> Az ellenőrzések mellett, ha biztos a javítás, akkor megpróbálja a lenti
> módszerrel az út <-> utcát a megfelelő módon cserélni. Ez csináltam meg
> mostanság.
> Először a planet_osm_roads alapján dolgoztam.
> Az eredmény ez lett:
> osm-import-request $ git diff *.osm | grep '+ <tag k="addr:street"' |
> wc -l
> 758
> Javítások csak a Tesconál:
> osm-import-request $ git diff hu_tesco*.osm | grep '+ <tag
> k="addr:street"' | wc -l
> 27
> Ezek után váltottam planet_osm_line-ra, és a helyzet tovább javult:
> osm-import-request $ git diff *.osm | grep '+ <tag k="addr:street"' |
> wc -l
> 1228
> Javítások csak a Tesco-nál:
> osm-import-request $ git diff hu_tesco*.osm | grep '+ <tag
> k="addr:street"' | wc -l
> 49
>
> A csere a fent már taglalt SQL lekérdezések alapján történik.
>
> Ha van kedvetek, ellenőrizzétek, hogy nem csinált-e hülyeséget.
>
> Ilyen hibát találtam, de szerintem ez OSM hiba:
> https://www.openstreetmap.org/way/39500636 (a névben nincs közterület
> típusa vonalnak)
>
> Átnéztem kb 50 POI-t és rendben voltak.
> Egyedül azt találtam, hogy a Kossuth Lajos tér 1-3 alatt lévő posta
> valószínűleg nem publikus.
>
> Szerintetek érdemes lenne egy újabb Tesco import ami az esetlegesen
> bevezetett hibákat javítaná? A postás import szerintetek milyen állapotban
> van? Esetleg mehetne az, kisebbtől a nagyobbig csomag -> csekk -> partner
> -> posta
>
> Üdvözlettel / Best Regards:
>
> Kálmán (KAMI) Szalai
> UI:
>
> Úgy tűnik többet is cserélt, mint amennyit én találtam:
>
> Az én manuális cseretáblám ez volt:
>
> Szent László út-> utca (Budapest)
> Ady Enrde út -> utca (Budapest)
> Budafok-Belvárosi Szent Lipót plébánia -> Budapest
> Ady Enrde utca -> út (Budapest, házszám 99)
> Bartók Béla utca -> Bartók Béla út (Budapest)
> Thaly Kálmán út -> Thaly Kálmán utca (Budapest)
> Rákosi utca -> Rákosi út (Budapest)
> Rákóczi utca -> Rákóczi Ferenc utca
> Széchenyi utca -> Széchenyi István utca (Miskolc)
> Rákóczi utca -> Rákóczi Ferenc utca (Sárvár)
> Bartók Béla utca -> Bartók Béla út (Csorna)
> Harkányi utca - Harkányi út (Siklós)
> Makay István utca -> Makay István út (Pécs)
> Szabadkai utca -> Szabadkai út (Szeged)
> Aradi út -> Aradi utca (Makó)
> Bátyai út -> Bátyai utca (Kalocsa)
> Kossuth Lajos utca -> Kossuth Lajos út (Kiskőrös)
> Berzsenyi út -> Berzsenyi Dániel utca (Kaposvár)
> Szabadság utca -> Szabadság út (Nagyatád)
> Vásárhely utca -> Vásárhelyi út (Orosháza)
> Noszlopy utca -> Noszlopy Gáspár utca (Marcali)
> Klapka utca -> Klapka György utca (Balatonboglár)
> Ceglédi utca -> Ceglédi út (Nagykőrös)
> Dózsa György utca -> Dózsa György út (Kiskunlacháza)
> Mártírok utca -> Mártírok útja (Veszprém)
> Kossuth Lajos utca -> Kossuth Lajos út (Pilis)
> Fő utca -> Fő út (Dunaharaszti)
> Fő út -> Fő utca (Ajka)
> II. Rákóczi Ferenc utca -> II. Rákóczi Ferenc út (Budapest)
> Kinizsi út -> Kinizsi utca (Budaörs) !! helyet javítani
> Hengermalom utca -> Hengermalom út (Budapest)
> Kisújszállási utca -> Kisújszállási út (Karcag)
> Kerepesi utca -> Kerepesi út (Budapest)
> Csabdi út -> Csabdi utca (Bicske)
> Bibó István út -> Bibó István utca (Hatvan)
> Kabai útfél -> Kabai út (Hajdúszoboszló)
> Zanati utca -> Zanati út (Szombathely)
> Királyszék utca -> Királyszéki út (Győr)
> Egri utca -> Egri út (Mezőkövesd)
> Bartók Béla út -> Bartók Béla utca (Csorna)
> Szentgyörgyfalvi utca -> Szentgyörgyfalvi út (Debrecen)
> Törvényház utca -> Törvényház út (Eger)
> Rákóczi út -> II. Rákóczi Ferenc út (Eger)
> Királyhidai utca -> Királyhidai út (Mosonmagyaróvár)
> Brassói utca -> Brassói út (Ózd)
>
> ez 45 elem, szemben a talált 49 elemmel.
>
> Thomas Nagy <bkil.hu at gmail.com> ezt írta (időpont: 2018. dec. 23., V,
> 12:55):
>
>> Ezek nagyon hasznos ellenőrzések. Látom, hogy ezek saját függvények.
>> Esetleg be tudnánk vezetni valami hasonlót közismert QA eszközökben is?
>>
>> https://github.com/KAMI911/osm_poi_matchmaker/commit/6d6a058500d6e6f90bf345879bb501f0e562d92e
>> https://wiki.openstreetmap.org/wiki/Quality_assurance
>>
>> On Sunday, December 23, 2018 at 12:18:04 PM UTC+1, KAMI KAMI wrote:
>>>
>>> Sziasztok, egyelőre a QC-ben bevezettem két ellenőrzést:
>>>
>>> <!-- Checker good:
>>> {not_in_water,street_metaphone_is_around,standard_opening_hours}; bad
>>> {street_is_not_around}-->
>>>
>>> street_is_not_around - van/nincs olyan nevű utca az OSM-en a környéken,
>>> amely a POI addr:street mezőjében szerepel
>>> street_metaphone_is_around - van/nincs olyan hangzású nevű utca az
>>> OSM-en a környéken, amely a POI addr:street mezőjében szerepel (kb az
>>> út-utca keveréseket tudja kiszűrni)
>>>
>>> Egyelőre nincs ezeknek a teszten kivül semmi eredménye, de ha szerintetk
>>> hasznos és megbízható, esetleg be lehet vezetni, hogy a találatoknál legyen
>>> felülírva a POI addr:street adata.
>>>
>>> Nagyjából ezek a lekérdezések állnak a háttérben:
>>>
>>> Utcanév megtalálás a környéken, ha a név azonos (validátorhoz):
>>> SELECT name, osm_id, highway, ST_Distance_Sphere(ST_Transform(way,
>>> 4326), point.geom) as distance, way, ST_AsEWKT(way) as way_ewkt
>>> FROM planet_osm_roads, (SELECT
>>> ST_SetSRID(ST_MakePoint(19.03207,47.47248),4326) as geom) point
>>> WHERE name = 'Bartók Béla út' AND highway is not NULL
>>> AND
>>> ST_DWithin(ST_Buffer(way,3),ST_Transform(point.geom,3857), 300)
>>> ORDER BY distance ASC;
>>>
>>> Utcanév megtalálás a környéken, ha a név azonos:
>>> SELECT name, osm_id, highway, ST_Distance_Sphere(ST_Transform(way,
>>> 4326), point.geom) as distance, way, ST_AsEWKT(way) as way_ewkt
>>> FROM planet_osm_roads, (SELECT
>>> ST_SetSRID(ST_MakePoint(19.03207,47.47248),4326) as geom) point
>>> WHERE dmetaphone(name) = dmetaphone('Bartók Béla út') AND
>>> highway is not NULL
>>> AND
>>> ST_DWithin(ST_Buffer(way,3),ST_Transform(point.geom,3857), 300)
>>> ORDER BY distance ASC;
>>>
>>> Ugyanez, amikor út helyett utca van:
>>> SELECT name, osm_id, highway, ST_Distance_Sphere(ST_Transform(way,
>>> 4326), point.geom) as distance, way, ST_AsEWKT(way) as way_ewkt
>>> FROM planet_osm_roads, (SELECT
>>> ST_SetSRID(ST_MakePoint(19.03207,47.47248),4326) as geom) point
>>> WHERE dmetaphone(name) = dmetaphone('Bartók Béla utca') AND
>>> highway is not NULL
>>> AND
>>> ST_DWithin(ST_Buffer(way,3),ST_Transform(point.geom,3857), 300)
>>> ORDER BY distance ASC;
>>>
>>> SELECT name, osm_id, highway, ST_Distance_Sphere(ST_Transform(way,
>>> 4326), point.geom) as distance, way, ST_AsEWKT(way) as way_ewkt
>>> FROM planet_osm_roads, (SELECT
>>> ST_SetSRID(ST_MakePoint(21.07252,47.93337),4326) as geom) point
>>> WHERE dmetaphone(name) = dmetaphone('Petőfi Sándor út') AND
>>> highway is not NULL
>>> AND
>>> ST_DWithin(ST_Buffer(way,3),ST_Transform(point.geom,3857), 300)
>>> ORDER BY distance ASC;
>>>
>>> Örömmel várom, ha van ötlet még ezen kívül, vagy bármi gondolat a
>>> témában.
>>>
>>>
>>> Üdvözlettel / Best Regards:
>>>
>>> Kálmán (KAMI) Szalai
>>>
>>>
>>> KAMI911 KAMI911 <kam... at gmail.com> ezt írta (időpont: 2018. dec. 20.,
>>> Cs, 14:59):
>>>
>>>> Sziasztok,
>>>>
>>>> Lehet elérkezett az idő hogy ez az egész import témát egybe kezeljük.
>>>> Persze az importok külön-külön mennek, de a hibákat kereshetjük globálisan.
>>>>
>>>> Ahogy átírtam a programot, sok-sok duplikátum megszűnt, ettől
>>>> függetlenül érdemes lenne jobb adatokat megadni, hogy milyenek legyenek a
>>>> keresési sugár értékek, safe (név és tag egyezés) és unsafe (csak tag
>>>> egyezés) esetben. Szóval most sokkal jobbak a kilátások, de elkezdtem nézni
>>>> a duplikátumokat és az AVIA-nál Martonvásárnál két poi is van egyik a
>>>> település nevével, a másik Szabó Brigitta névvel. Jelezem nekik.
>>>> A Benunál a duplikálást az okozza, hogy két külön poi azonos GEOM-mal
>>>> rendelkezik.
>>>>
>>>> Van kedvetek a továbbiakat megfejteni, hogy mi a gond velük? És persze
>>>> ha nem a mi hibánk akkor be is kellene jelenteni a cégeknek.
>>>>
>>>> Természetesen az új elemekre is rá lehetne nézni, hogy biztos nem lesz
>>>> valami duplikátum a működés révén.
>>>>
>>>> Imrével már beszélgettük, hogyan lehetne szűrni az új és duplikált
>>>> POI-kat mégvagy a megfelelő utcaelnevezéssel eltalálni, megadni, de akinek
>>>> van valami ötlete, azt szívesen vesszük.
>>>>
>>>> Frissített adatok:
>>>> https://github.com/KAMI911/osm-import-request
>>>>
>>>> Most itt tartunk:
>>>>
>>>> -----
>>>> 300
>>>>
>>>> ./hu_avia/poi_address_merge_huaviafu.osm
>>>> 2 <!-- OSM link: https://osm.org/node/320586750 -->
>>>> Duplicated elements: 1
>>>> New elements: 39
>>>>
>>>> ./hu_benu/poi_address_merge_hubenupha.osm
>>>> 2 <!-- OSM link: https://osm.org/node/3520336469 -->
>>>> Duplicated elements: 1
>>>> New elements: 125
>>>>
>>>> ./hu_bp_bank/poi_address_merge_hubpatm.osm
>>>> Duplicated elements: 0
>>>> New elements: 111
>>>>
>>>> ./hu_bp_bank/poi_address_merge_hubpbank.osm
>>>> Duplicated elements: 0
>>>> New elements: 24
>>>>
>>>> ./hu_cba/poi_address_merge_hucbacon.osm
>>>> 2 <!-- OSM link: https://osm.org/node/4251192415 -->
>>>> Duplicated elements: 1
>>>> New elements: 200
>>>>
>>>> ./hu_dm/poi_address_merge_hudmche.osm
>>>> Duplicated elements: 0
>>>> New elements: 86
>>>>
>>>> ./hu_foxpost/poi_address_merge_hufoxpocso.osm
>>>> Duplicated elements: 0
>>>> New elements: 98
>>>>
>>>> ./hu_kh/poi_address_merge_hukhatm.osm
>>>> Duplicated elements: 0
>>>> New elements: 374
>>>>
>>>> ./hu_kh/poi_address_merge_hukhbank.osm
>>>> Duplicated elements: 0
>>>> New elements: 73
>>>>
>>>> ./hu_kulcs/poi_address_merge_hukulcspha.osm
>>>> Duplicated elements: 0
>>>> New elements: 63
>>>>
>>>> ./hu_mobil_petrol/poi_address_merge_humobpefu.osm
>>>> Duplicated elements: 0
>>>> New elements: 2
>>>>
>>>> ./hu_mol/poi_address_merge_humolfu.osm
>>>> 2 <!-- OSM link: https://osm.org/node/2302639399 -->
>>>> 2 <!-- OSM link: https://osm.org/way/434836133 -->
>>>> Duplicated elements: 2
>>>> New elements: 25
>>>>
>>>> ./hu_mol_bubi/poi_address_merge_hububibir.osm
>>>> Duplicated elements: 0
>>>> New elements: 3
>>>>
>>>> ./hu_omv/poi_address_merge_huomvfu.osm
>>>> Duplicated elements: 0
>>>> New elements: 16
>>>>
>>>> ./hu_posta/poi_address_merge_hupostacse.osm
>>>> Duplicated elements: 0
>>>> New elements: 115
>>>>
>>>> ./hu_posta/poi_address_merge_hupostacso.osm
>>>> Duplicated elements: 0
>>>> New elements: 50
>>>>
>>>> ./hu_posta/poi_address_merge_hupostapo.osm
>>>> Duplicated elements: 0
>>>> New elements: 1233
>>>>
>>>> ./hu_posta/poi_address_merge_hupostapp.osm
>>>> 2 <!-- OSM link: https://osm.org/node/3469960863 -->
>>>> Duplicated elements: 1
>>>> New elements: 450
>>>>
>>>> ./hu_prima/poi_address_merge_huprimacon.osm
>>>> Duplicated elements: 0
>>>> New elements: 36
>>>>
>>>> ./hu_rossmann/poi_address_merge_hurossmche.osm
>>>> Duplicated elements: 0
>>>> New elements: 76
>>>>
>>>> ./hu_shell/poi_address_merge_hushellfu.osm
>>>> Duplicated elements: 0
>>>> New elements: 3
>>>>
>>>> ./hu_spar/poi_address_merge_husparexp.osm
>>>> Duplicated elements: 0
>>>> New elements: 61
>>>>
>>>> ./hu_spar/poi_address_merge_husparint.osm
>>>> Duplicated elements: 0
>>>> New elements: 16
>>>>
>>>> ./hu_spar/poi_address_merge_husparsup.osm
>>>> 2 <!-- OSM link: https://osm.org/node/1243005712 -->
>>>> 2 <!-- OSM link: https://osm.org/way/228874975 -->
>>>> 2 <!-- OSM link: https://osm.org/way/420910894 -->
>>>> Duplicated elements: 3
>>>> New elements: 150
>>>>
>>>> ./hu_tesco/poi_address_merge_hutescoexp.osm
>>>> Duplicated elements: 0
>>>> New elements: 2
>>>>
>>>> ./hu_tesco/poi_address_merge_hutescoext.osm
>>>> Duplicated elements: 0
>>>> New elements: 0
>>>>
>>>> ./hu_tesco/poi_address_merge_husmrktexp.osm
>>>> Duplicated elements: 0
>>>> New elements: 2
>>>>
>>>> ./hu_tesco/poi_address_merge_hutescosup.osm
>>>> Duplicated elements: 0
>>>> New elements: 2
>>>>
>>>> Üdvözlettel / Best Regards:
>>>>
>>>> Kálmán (KAMI) Szalai
>>>>
>>> --
>> Magyar OSM Levelezőlista - openstreetmap-hungary at googlegroups.com
>> leiratkozás: openstreetmap-hungary+unsubscribe at googlegroups.com
>> ---
>> Azért kapta ezt az üzenetet, mert feliratkozott a Google Csoportok
>> „openstreetmap-hungary” csoportjára.
>> Az erről a csoportról és az ahhoz kapcsolódó e-mailekről való
>> leiratkozáshoz küldjön egy e-amailt a(z)
>> openstreetmap-hungary+unsubscribe at googlegroups.com címre.
>> További lehetőségekért látogasson el ide:
>> https://groups.google.com/d/optout.
>>
> --
> Magyar OSM Levelezőlista - openstreetmap-hungary at googlegroups.com
> leiratkozás: openstreetmap-hungary+unsubscribe at googlegroups.com
> ---
> Azért kapta ezt az üzenetet, mert feliratkozott a Google Csoportok
> „openstreetmap-hungary” csoportjára.
> Az erről a csoportról és az ahhoz kapcsolódó e-mailekről való
> leiratkozáshoz küldjön egy e-amailt a(z)
> openstreetmap-hungary+unsubscribe at googlegroups.com címre.
> További lehetőségekért látogasson el ide:
> https://groups.google.com/d/optout.
>
--------- következő rész ---------
Egy csatolt HTML állomány át lett konvertálva...
URL: <http://lists.openstreetmap.org/pipermail/talk-hu/attachments/20181224/76eec895/attachment.htm>
További információk a(z) Talk-hu levelezőlistáról