[osm-hu] Re: * Import
Thomas Nagy
bkil.hu at gmail.com
2019. Jan. 16., Sze, 19:28:12 UTC
Megjegyzem, hogy vannak lukak a keresési térben. Akadna itt még start_date
is, viszont én itt csak székhelyet láttam, fióktelepek-telephelyek-üzletek
címét pont nem (az külön lekérdezés lenne), így a legtöbb POI-ra ez
felhasználói oldalról nézve kis hasznosságú. Esetleg arra jó lehet, hogy
automatikus frissítés és operator összerendelés alapján értesüljünk a bolt
bezárásokról vagy tulajdonos váltásokról, amit lehet (fél-)automatikusan
javítani is.
Ezekről az adatokról (beleértve az üzletek címét is) szintén vannak máshol
hatósági nyilvántartások mind központilag, mind az önkormányzatoknál
(utóbbi a PDF-es téma amit a másik szálban beszéltünk, de sajnos nem
friss). Egyelőre nem tudom, hogy milyen közösen látható felületet találjunk
ki az utóbbiról már beparszolt adatokra, de mapping party előtt
mindenképpen kinyomtatjuk és kiosztjuk.
https://groups.google.com/d/topic/openstreetmap-hungary/fu7om2fH3B8/discussion
A meglátásom szerint a céginformáció.hu <http://xn--cginformci-z4a2g0g.hu>
adatbázisának a duplikálása se nem etikus, se nem legális. A cégközlönyben
jelentik be az összes cégalapítást-módosítást, amibe nem is kevés pénzért
lehet (és kell is) publikálni, annak az automatizált lehúzását már
helyeselném, viszont a mókás emberek ott kitalálták, hogy CAPTCHA-t raknak
fel, és pénzért fogják árulni az API-t az olyanoknak mint a céginformáció.hu
<http://xn--cginformci-z4a2g0g.hu>.
És mi az update stratégiád, havonta crawl-oljuk újra a millió rekordot?
Kötve hiszem, hogy pár hónap után ne vennék észre, így nem hangzik túl
fenntarthatónak. Ugyanezzel a megközelítéssel (rendszeres adatlopással) új
versenytársak is üzemelhetnének, és ezt ők nyilván törekszenek
kiküszöbölni. Vagy titokban csak egy-egy mapping party előtt crawlolnád le,
hogy meglegyen a lista amit a terepen ellenőrizni kell? Sokkal
fenntarthatóbbnak hangzik, ha esetleg rákérdeznénk, nem adják-e ide az
adatbázis dumpot rendszeresen OSM célra - nekik is kevesebb sávszélesség és
processzoridő lenne, nekünk pedig a fehérség eufóriája.
Mint kiderült amúgy a következő a hiteles forrás adatbázis:
http://ceginformaciosszolgalat.kormany.hu/ingyenes-ceginformacio
Eszerint: "Online, tájékoztató jellegű ingyenes céginformáció a
www.e-cegjegyzek.hu honlapon keresztül érhető el"
Ezt pedig CAPTCHA védi, tehát itt bezárult a kör: ezt az adatbázist csak
úgy nem duplikálhatjuk sem direkten, sem partneren keresztül. Félelmetes ez
a closed-data mánia az országban.
On Wed, Jan 16, 2019 at 7:50 PM Úr Balázs <urbalazs at openstreetmap.hu> wrote:
> 2019. 01. 16. 18:24 keltezéssel, Tamás Vásony írta:
> > https://www.ceginformacio.hu/cr9310511889
>
> Ez elég jó kis oldal, captcha nélkül le lehet rántani cégadatokat.
>
> ID = 1
> https://www.ceginformacio.hu/cr9310000001
>
> Utolsó ID = 658973
> https://www.ceginformacio.hu/cr9310658973
>
> for (id = 1; id <= 658973; id++) {
> # wget ...
> # parse ...
> }
>
> Ezeket lehet kinyerni, ha jól látom.
>
> operator=
> operator:addr=
> addr:postalcode=
> addr:city=
> addr:street=
> addr:housenumber=
> contact:website=
> ref:vatin=
> ref:vatin:hu=
> ref:company:hu=
>
> A felhasználhatósága erősen kétséges, de saját használatra még jó lehet.
> Nekiesik valaki, vagy eresszek rá egy scriptet?
>
> -- Balázs
>
> --
> Magyar OSM Levelezőlista - openstreetmap-hungary at googlegroups.com
> leiratkozás: openstreetmap-hungary+unsubscribe at googlegroups.com
> ---
> Azért kapta ezt az üzenetet, mert feliratkozott a Google Csoportok
> keretében működő openstreetmap-hungary csoportra.
> A témáról való leiratkozáshoz látogasson el ide:
> https://groups.google.com/d/topic/openstreetmap-hungary/oZrtLUn3hnw/unsubscribe
> .
> Az erről a csoportról és minden témájáról való leiratkozáshoz küldjön egy
> e-mailt a(z) openstreetmap-hungary+unsubscribe at googlegroups.com címre.
> További lehetőségekért látogasson el a(z)
> https://groups.google.com/d/optout címre.
>
--------- következő rész ---------
Egy csatolt HTML állomány át lett konvertálva...
URL: <http://lists.openstreetmap.org/pipermail/talk-hu/attachments/20190116/6804006a/attachment.htm>
További információk a(z) Talk-hu levelezőlistáról