[OSM-talk-nl] NLExtract project

Just van den Broecke just at justobjects.nl
Mon Jan 23 09:33:12 UTC 2012


Frank,

Ok, we hebben elkaar inmiddels gesproken in Lofen maar voor de record en 
omdat mijn eerdere mail de lijst niet heeft bereikt:

- ogr2ogr direct op Top10NL GML uitvoeren geeft wel resultaat (in 
PostGIS) maar kan willekeurige uitkomsten geven:

1) meeste Top10NL objecten hebben meerdere geometrieën. Echter slechts 
één daarvan komt dan in PostGIS terecht. Welke ? Meen de laatste.
2) sommige attributen kunnen meerdere keren voorkomen: bijv. een Wegdeel 
kan het attribuut "nwegnummer" meerdere keren voorkomen.
Met -lco ogr2ogr optie kun je beinvloeden wat er moet gebeuren in zo'n geval
3) afkappen velden: ogr2ogr doet scan op GML structuur maar niet 
uitputtend. Lijkt erop dat wat ie het eerste tegenkomt als kolom-breedte 
neemt. Je kunt evt de GFS file aanpassen die ogr2ogr genereerd.
4) voor sommige Top10NL bestanden valideert de GML niet, bijv. dubbele 
identieke geometrie-velden

Dit zijn o.a. de "gotchas" waar ik in een eerdere mail op doelde. En 
mogelijk zijn er die ik nog niet ken. Vandaar dat we voor Top10NL binnen 
NLExtract een aantal dingen binnen de extractie procedure opnemen: bijv. 
een XSLT-stap om de geometrieën uit te splitsen (top10-split.sh) en -lco 
ogr2ogr opties om met meervoudige attributen om te gaan. Mogelijk moeten 
we ook .gfs files gaan inchecken.
Zie ook de README:
https://github.com/opengeogroep/NLExtract/blob/master/top10nl/README
Nu zijn het .sh shell scripts maar alle tools komen ook onder Windows 
voor dus moeten we .bat's kunnen maken...

groeten,

Just

On 22-01-12 12:38, Frank Steggink wrote:
> Just,
>
> Ik neem mijn Windows-laptop zometeen mee naar Lofen. Ik was vanochtend
> begonnen NLExtract werkend te krijgen :)
> BTW, ik heb ook een gevulde PostGIS DB met top10nl, alleen houd ik geen
> rekening met meerdere geometrietypen. Ook zijn veel strings afgekapt. Is
> dat issue jou bekend? Als je met ogr2ogr een tabel aanmaakt, kijkt hij
> waarschijnlijk alleen naar de max. lengte van een string in het bestand
> dat hij verwerkt. Dubbele records heb ik handmatig eruitgehaald. Hiervan
> heb ik aantekeningen.
>
> Groeten,
>
> Frank
>
> On 22-1-2012 12:09, Just van den Broecke wrote:
>
>> Hallo,
>>
>> Gezien de discussies over BAG en Top10NL wilde ik hier, hoewel in de
>> steigers, toch vast het project NLExtract aankondigen. In het kort:
>> met NLExtract willen we software tools bieden voor het converteren,
>> valideren, verrijken, combineren en visualiseren (WMS) van open
>> geodata die door NL overheden sinds kort wordt vrijgegeven.
>>
>> In eerste instantie BAG en Top10NL en dan vooral de conversie van bron
>> (GML) naar een database (PostgreSQL/PostGIS). Voor BAG bouwen we voort
>> op BAGExtract+ van I&M/Stefan/Milo en dan vooral commandline. Top10NL
>> extractie is nieuw. Later: NWB, TopRaster data en meer.
>>
>> Voorlopig hebben we alleen een GitHub met README's:
>> https://github.com/opengeogroep/NLExtract
>>
>> Als je mee wilt werken horen we dat graag. Ik heb zelf gemerkt dat de
>> brondata van bijv. BAG heel wat "nasties" en "gotchas" bevat: dubbele
>> records, adressen zonder postcode, niet-valide GML (Top10NL) of
>> -geometrieen etc. De kennis hierover bundelen is ook een doel.
>>
>> Welzeker spreek ik een aantal van jullie straks op de borrel in U.
>>
>> groeten,
>>
>> Just van den Broecke
>>
>>
>>
>>
>>
>>
>>
>>
>> _______________________________________________
>> Talk-nl mailing list
>> Talk-nl at openstreetmap.org
>> http://lists.openstreetmap.org/listinfo/talk-nl
>>
>
>




More information about the Talk-nl mailing list