[osm-hu] Re: * Import

Imre Samu pella.samu at gmail.com
2018. Dec. 23., V, 15:43:10 UTC 

Szia Kami,

>Örömmel várom, ha van ötlet még ezen kívül, vagy bármi gondolat a témában.

folyamatosan változik a best-practice ...

de pár tipp kipróbálásra:

az utcanévellenörzőnél normalizáltam az utcaneveket, lehet, hogy itt is ki
kellene próbálni.
- az ékezeteket "rövidítettem"
- dr/utca/ut/utja   - szavakat eltávolítottam


CREATE OR REPLACE FUNCTION  UTCANEV_TISZTIT(utcanev text) RETURNS text as $$
BEGIN
 RETURN   translate( regexp_replace(
     translate( lower( ( utcanev)) , 'őúáűéíó-.,','öuaüeio')  ,
  '[[:<:]](dr|utca|ut|utja)[[:>:]]',
  ' ',
  'gi'
),' ','');
END ;
$$ LANGUAGE plpgsql IMMUTABLE;



Valamint most a kedvencem a "Jaro-Winkler Distance"   (
https://github.com/eulerto/pg_similarity )

üdv,
 Imre





KAMI911 KAMI911 <kami911 at gmail.com> ezt írta (időpont: 2018. dec. 23., V,
12:18):

> Sziasztok, egyelőre a QC-ben bevezettem két ellenőrzést:
>
>   <!-- Checker good:
> {not_in_water,street_metaphone_is_around,standard_opening_hours}; bad
> {street_is_not_around}-->
>
> street_is_not_around - van/nincs olyan nevű utca az OSM-en a környéken,
> amely a POI addr:street mezőjében szerepel
> street_metaphone_is_around - van/nincs olyan hangzású nevű utca az OSM-en
> a környéken, amely a POI addr:street mezőjében szerepel (kb az út-utca
> keveréseket tudja kiszűrni)
>
> Egyelőre nincs ezeknek a teszten kivül semmi eredménye, de ha szerintetk
> hasznos és megbízható, esetleg be lehet vezetni, hogy a találatoknál legyen
> felülírva a POI addr:street adata.
>
> Nagyjából ezek a lekérdezések állnak a háttérben:
>
> Utcanév megtalálás a környéken, ha a név azonos (validátorhoz):
> SELECT name, osm_id, highway, ST_Distance_Sphere(ST_Transform(way, 4326),
> point.geom) as distance, way,  ST_AsEWKT(way) as way_ewkt
>             FROM planet_osm_roads, (SELECT
> ST_SetSRID(ST_MakePoint(19.03207,47.47248),4326) as geom) point
>             WHERE name = 'Bartók Béla út' AND highway is not NULL
>                 AND
> ST_DWithin(ST_Buffer(way,3),ST_Transform(point.geom,3857), 300)
>             ORDER BY distance ASC;
>
> Utcanév megtalálás a környéken, ha a név azonos:
> SELECT name, osm_id, highway, ST_Distance_Sphere(ST_Transform(way, 4326),
> point.geom) as distance, way,  ST_AsEWKT(way) as way_ewkt
>             FROM planet_osm_roads, (SELECT
> ST_SetSRID(ST_MakePoint(19.03207,47.47248),4326) as geom) point
>             WHERE dmetaphone(name) = dmetaphone('Bartók Béla út') AND
> highway is not NULL
>                 AND
> ST_DWithin(ST_Buffer(way,3),ST_Transform(point.geom,3857), 300)
>             ORDER BY distance ASC;
>
> Ugyanez, amikor út helyett utca van:
> SELECT name, osm_id, highway, ST_Distance_Sphere(ST_Transform(way, 4326),
> point.geom) as distance, way,  ST_AsEWKT(way) as way_ewkt
>             FROM planet_osm_roads, (SELECT
> ST_SetSRID(ST_MakePoint(19.03207,47.47248),4326) as geom) point
>             WHERE dmetaphone(name) = dmetaphone('Bartók Béla utca') AND
> highway is not NULL
>                 AND
> ST_DWithin(ST_Buffer(way,3),ST_Transform(point.geom,3857), 300)
>             ORDER BY distance ASC;
>
> SELECT name, osm_id, highway, ST_Distance_Sphere(ST_Transform(way, 4326),
> point.geom) as distance, way,  ST_AsEWKT(way) as way_ewkt
>             FROM planet_osm_roads, (SELECT
> ST_SetSRID(ST_MakePoint(21.07252,47.93337),4326) as geom) point
>             WHERE dmetaphone(name) = dmetaphone('Petőfi Sándor út') AND
> highway is not NULL
>                 AND
> ST_DWithin(ST_Buffer(way,3),ST_Transform(point.geom,3857), 300)
>             ORDER BY distance ASC;
>
> Örömmel várom, ha van ötlet még ezen kívül, vagy bármi gondolat a témában.
>
>
> Üdvözlettel / Best Regards:
>
> Kálmán (KAMI) Szalai
>
>
> KAMI911 KAMI911 <kami911 at gmail.com> ezt írta (időpont: 2018. dec. 20.,
> Cs, 14:59):
>
>> Sziasztok,
>>
>> Lehet elérkezett az idő hogy ez az egész import témát egybe kezeljük.
>> Persze az importok külön-külön mennek, de a hibákat kereshetjük globálisan.
>>
>> Ahogy átírtam a programot, sok-sok duplikátum megszűnt, ettől függetlenül
>> érdemes lenne jobb adatokat megadni, hogy milyenek legyenek a keresési
>> sugár értékek, safe (név és tag egyezés) és unsafe (csak tag egyezés)
>> esetben. Szóval most sokkal jobbak a kilátások, de elkezdtem nézni a
>> duplikátumokat és az AVIA-nál Martonvásárnál két poi is van egyik a
>> település nevével, a másik Szabó Brigitta névvel. Jelezem nekik.
>> A Benunál a duplikálást az okozza, hogy két külön poi azonos GEOM-mal
>> rendelkezik.
>>
>> Van kedvetek a továbbiakat megfejteni, hogy mi a gond velük? És persze ha
>> nem a mi hibánk akkor be is kellene jelenteni a cégeknek.
>>
>> Természetesen az új elemekre is rá lehetne nézni, hogy biztos nem lesz
>> valami duplikátum a működés révén.
>>
>> Imrével már beszélgettük, hogyan lehetne szűrni az új és duplikált
>> POI-kat mégvagy a megfelelő utcaelnevezéssel eltalálni, megadni, de akinek
>> van valami ötlete, azt szívesen vesszük.
>>
>> Frissített adatok:
>> https://github.com/KAMI911/osm-import-request
>>
>> Most itt tartunk:
>>
>> -----
>> 300
>>
>> ./hu_avia/poi_address_merge_huaviafu.osm
>>       2   <!-- OSM link: https://osm.org/node/320586750 -->
>> Duplicated elements: 1
>> New elements: 39
>>
>> ./hu_benu/poi_address_merge_hubenupha.osm
>>       2   <!-- OSM link: https://osm.org/node/3520336469 -->
>> Duplicated elements: 1
>> New elements: 125
>>
>> ./hu_bp_bank/poi_address_merge_hubpatm.osm
>> Duplicated elements: 0
>> New elements: 111
>>
>> ./hu_bp_bank/poi_address_merge_hubpbank.osm
>> Duplicated elements: 0
>> New elements: 24
>>
>> ./hu_cba/poi_address_merge_hucbacon.osm
>>       2   <!-- OSM link: https://osm.org/node/4251192415 -->
>> Duplicated elements: 1
>> New elements: 200
>>
>> ./hu_dm/poi_address_merge_hudmche.osm
>> Duplicated elements: 0
>> New elements: 86
>>
>> ./hu_foxpost/poi_address_merge_hufoxpocso.osm
>> Duplicated elements: 0
>> New elements: 98
>>
>> ./hu_kh/poi_address_merge_hukhatm.osm
>> Duplicated elements: 0
>> New elements: 374
>>
>> ./hu_kh/poi_address_merge_hukhbank.osm
>> Duplicated elements: 0
>> New elements: 73
>>
>> ./hu_kulcs/poi_address_merge_hukulcspha.osm
>> Duplicated elements: 0
>> New elements: 63
>>
>> ./hu_mobil_petrol/poi_address_merge_humobpefu.osm
>> Duplicated elements: 0
>> New elements: 2
>>
>> ./hu_mol/poi_address_merge_humolfu.osm
>>       2   <!-- OSM link: https://osm.org/node/2302639399 -->
>>       2   <!-- OSM link: https://osm.org/way/434836133 -->
>> Duplicated elements: 2
>> New elements: 25
>>
>> ./hu_mol_bubi/poi_address_merge_hububibir.osm
>> Duplicated elements: 0
>> New elements: 3
>>
>> ./hu_omv/poi_address_merge_huomvfu.osm
>> Duplicated elements: 0
>> New elements: 16
>>
>> ./hu_posta/poi_address_merge_hupostacse.osm
>> Duplicated elements: 0
>> New elements: 115
>>
>> ./hu_posta/poi_address_merge_hupostacso.osm
>> Duplicated elements: 0
>> New elements: 50
>>
>> ./hu_posta/poi_address_merge_hupostapo.osm
>> Duplicated elements: 0
>> New elements: 1233
>>
>> ./hu_posta/poi_address_merge_hupostapp.osm
>>       2   <!-- OSM link: https://osm.org/node/3469960863 -->
>> Duplicated elements: 1
>> New elements: 450
>>
>> ./hu_prima/poi_address_merge_huprimacon.osm
>> Duplicated elements: 0
>> New elements: 36
>>
>> ./hu_rossmann/poi_address_merge_hurossmche.osm
>> Duplicated elements: 0
>> New elements: 76
>>
>> ./hu_shell/poi_address_merge_hushellfu.osm
>> Duplicated elements: 0
>> New elements: 3
>>
>> ./hu_spar/poi_address_merge_husparexp.osm
>> Duplicated elements: 0
>> New elements: 61
>>
>> ./hu_spar/poi_address_merge_husparint.osm
>> Duplicated elements: 0
>> New elements: 16
>>
>> ./hu_spar/poi_address_merge_husparsup.osm
>>       2   <!-- OSM link: https://osm.org/node/1243005712 -->
>>       2   <!-- OSM link: https://osm.org/way/228874975 -->
>>       2   <!-- OSM link: https://osm.org/way/420910894 -->
>> Duplicated elements: 3
>> New elements: 150
>>
>> ./hu_tesco/poi_address_merge_hutescoexp.osm
>> Duplicated elements: 0
>> New elements: 2
>>
>> ./hu_tesco/poi_address_merge_hutescoext.osm
>> Duplicated elements: 0
>> New elements: 0
>>
>> ./hu_tesco/poi_address_merge_husmrktexp.osm
>> Duplicated elements: 0
>> New elements: 2
>>
>> ./hu_tesco/poi_address_merge_hutescosup.osm
>> Duplicated elements: 0
>> New elements: 2
>>
>> Üdvözlettel / Best Regards:
>>
>> Kálmán (KAMI) Szalai
>>
> --
> Magyar OSM Levelezőlista - openstreetmap-hungary at googlegroups.com
> leiratkozás: openstreetmap-hungary+unsubscribe at googlegroups.com
> ---
> Azért kapta ezt az üzenetet, mert feliratkozott a Google Csoportok
> „openstreetmap-hungary” csoportjára.
> Az erről a csoportról és az ahhoz kapcsolódó e-mailekről való
> leiratkozáshoz küldjön egy e-amailt a(z)
> openstreetmap-hungary+unsubscribe at googlegroups.com címre.
> További lehetőségekért látogasson el ide:
> https://groups.google.com/d/optout.
>
--------- következő rész ---------
Egy csatolt HTML állomány át lett konvertálva...
URL: <http://lists.openstreetmap.org/pipermail/talk-hu/attachments/20181223/8dc08080/attachment.htm>

További információk a(z) Talk-hu levelezőlistáról