OSM2ArcGIS 1 Publiceer gegevens die zijn geëxtraheerd uit OpenStreetMap in een feature-service met meerdere lagen op ArcGIS Online of ArcGIS Enterprise

LukasBug

<\/HEAD>

Inleiding<\/H1>Gegevensextractie uit OpenStreetMap (OSM) kan op verschillende manieren worden uitgevoerd. Het OSM-project beschikt over een website waar gegevens kunnen worden geëxtraheerd in het door OSM uitgevonden .pbf-formaat. Externe platforms bieden al voorbewerkte en geverifieerde gegevens van de websites aan. De Overpass API stelt gebruikers in staat om kleine datagebieden (ongeveer op stads- en buitenwijkniveau) te downloaden via een webverzoek. Deze API functioneert als een databaseserver en kan worden bevraagd met een speciale database-aanvraagtaal, Overpass QL.<\/P><\/P>De gratis OSM2ArcGIS Python-script<\/A>, beschikbaar op GitHub, is gebaseerd op data die wordt opgevraagd via de Overpass QL met een aangepaste versie van Jeffrey Scarmazzis osm_runner python module<\/A>. De opgevraagde data wordt verwerkt en geconverteerd naar het ArcGIS SpatialDataframe-formaat. Na gegevensverwerking in ArcGIS Online \/ ArcGIS Enterprise wordt er een nieuwe feature service aangemaakt binnen het portal van de gebruiker.<\/P>

<\/P>

Binnen de feature service worden de gegevens georganiseerd in ten minste drie verschillende lagen voor de drie beschikbare geometrietypen punt, polyline en polygon (meer lagen voor meer configuraties, worden later uitgelegd). De extra functies van OSM2ArcGIS worden in detail uitgelegd in de volgende secties van deze blogpost.<\/P>

<\/P>

Vereisten<\/H1>Python<\/SPAN><\/H2>De volgende Python-versie en pakketten moeten geïnstalleerd zijn. De installatie van Anaconda helpt om bestaande python-installaties werkend te houden door onafhankelijke python-omgevingen te creëren. Gebruikers profiteren van een geïntegreerde pakketinstallatie en beheerinterface van Anaconda.<\/P><\/P>Hoe stel je de Python-omgeving in Anaconda in:<\/P>Download en installeer de 3.x-versie van Anaconda<\/SPAN><\/A>. Open vervolgens de Anaconda Navigator en maak een nieuwe Python-omgeving aan. De Python-versie moet 3.5 of hoger zijn. Installeer dan deze pakketten in de omgeving:<\/P>     pandas >= 0.20.2<\/A><\/SPAN>: Kan direct gevonden en geïnstalleerd worden uit de pakketlijst in Anaconda.<\/LI>     click >= 6.7<\/A><\/SPAN>: Kan direct gevonden en geïnstalleerd worden uit de pakketlijst in Anaconda. De andere pakketten worden geïnstalleerd via de terminal door een regel code in te voeren.<\/LI>     ArcGIS API for Python <= 1.5.0<\/A><\/SPAN>:

&nbsp;&nbsp;&nbsp; conda install -c esri arcgis=1.5.0‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><PRE class="lia-code-sample line-numbers language-none">ArcGIS API for Python moet gelijk aan of lager zijn dan versie 1.5.0 om correct te werken met OSM2ArcGIS.

Voor meer informatie zie dit issue op GitHub:&nbsp;<A class="link-titled" href="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" title="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" rel="nofollow noopener noreferrer" target="_blank">API for Python 1.5.1 & 1.5.2: arcgis.geometry.Polygon.is_valid() methode voor polygonen werkt niet  Issue #335  Esri\a\u2026<\/A>&nbsp;
                 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; <\/PRE><\/LI><LI style="text-indent: -18.0pt;"><SPAN style="color: #0366d6;">&nbsp; &nbsp; &nbsp;<A href="http:\/\/docs.python-requests.org\/en\/master\/" style="background-color: initial;" rel="nofollow noopener noreferrer" target="_blank">requests >= 2.18.4<\/A>&nbsp;<\/SPAN><PRE class="lia-code-sample line-numbers language-none"><CODE>&nbsp;&nbsp;&nbsp; pip install requests‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><\/LI><LI style="text-indent: -18.0pt;"><SPAN style="color: #0366d6;">&nbsp; &nbsp; &nbsp;<A href="https:\/\/pypi.org\/project\/progressbar\/" style="background-color: initial;" rel="nofollow noopener noreferrer" target="_blank">progressbar >= 2.5<\/A>&nbsp;<\/SPAN><PRE class="lia-code-sample line-numbers language-none"><CODE>&nbsp;&nbsp;&nbsp; pip install progressbar‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><\/LI><\/UL><H2 id="toc-hId--1537512138" id="toc-hId--1537512138"><SPAN style="font-size: 15px;">Aanvullende vereiste<\/SPAN><\/H2><P><SPAN style="font-size: 15px;"><SPAN style="color: #24292e;">Een ArcGIS Online-account met</SPAN> <SPAN style="color: #24292e;">gebruikers type</SPAN><SPAN style="color: #24292e;"> Creator (Nieuwe gebruikers types)<span style='color:#24292e;'> </span></SPAN>of een ArcGIS Enterprise-account met&nbsp;<span style='color:#24292e;'>gebruikers type</span> Level 2 (Named user, voor versie 10.6 en lager)<span style='color:#24292e;'> </span>en ten minste een Publisher rol<span style='color:#24292e;'>.</span>(Een ArcGIS Online Developer Account voldoet ook aan deze vereisten)<span style='color:#24292e;'> </span></SPAN></P><P></P><H1 id='toc-hId-401811702' id='toc-hId-401811702'>Eerste stappen</H1><OL><LI>Stel je python-omgeving in zoals beschreven in de sectie Vereisten.<\LI><LI>Download de bestanden van de <A class='link-titled' href='https://github.com/EsriDE/EsriDE-python-osm2arcgis' title='https://github.com/EsriDE/EsriDE-python-osm2arcgis' rel='nofollow noopener noreferrer' target='_blank'>GitHub repository</A>.<\LI><LI>Pak de bestanden uit het gedownloade OSM2ArcGIS zip-archief uit naar een locatie naar keuze.<\LI><LI>Pas de inhoud van het bestand runScript.bat aan zodat deze overeenkomt met de paden van je Anaconda-installatie, de python-omgeving en de locatie van de OSM2ArcGIS-map waarnaar je projectbestanden hebt uitgepakt in stap 2. Bijvoorbeeld:<PRE class='lia-code-sample line-numbers language-none'><CODE>set path=C:\your_anaconda_install_path\Anaconda3\Library\bin;%PATH%
call conda activate OSM2ArcGIS
call "C:\Users\your_username\AppData\Local\conda\conda\envs\your_python_environment"\python.exe "C:\your_project_extraction_path"\MainModule.py‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Pas desgewenst de inhoud van het ArcGIS Online \/ Portal for ArcGIS-configuratiebestand agolconfig.json aansluitend aan jouw portal URL, gebruikersnaam en wachtwoord aan.<\LI>Pas optioneel de inhoud van het OpenStreetMap-configuratiebestand osmconfig.json aansluitend aan het gewenste gebied aan, voeg configuraties toe of verwijder de voorbeeldconfiguratie.<\LI>Voer het bestand runScript.bat uit vanuit je bestandsbeheerder.<\LI>Ga naar je ArcGIS Online portal en bekijk de resultaten.<\LI>Klik op je meest recent aangemaakte feature service en gebruik het paneel Visualisatie om de resultaten te tonen. Als je osmconfig.json niet hebt aangepast, zou het resultaat er ongeveer zo uit moeten zien:
 <\LI><\/P><\/P><\/P>De gegevens<\/SPAN><\/H1>De geodata die bijgedragen wordt aan het OSM-project is niet zo gestandaardiseerd als data geleverd door overheidsorganisaties of bedrijven. Er zijn richtlijnen binnen de OSM-wiki, maar gebruikers bedienen verschillende clients op verschillende apparaten en worden niet gedwongen om geometrieën op een specifieke manier te genereren of gedetailleerde attribuutwaarden in exact gedefinieerde attribuutvelden te verstrekken.<\/P>
Dit kan leiden tot problemen bij het parseren van de data en het vertrouwen op specifieke datatypes. Ook het gebruik van OpenStreetMap voor een wegenkaart met exacte snelheden op wegsecties is niet altijd een goed idee wanneer er geen exacte eenheid is gespecificeerd in alle wegsecties. Daarom hebben we besloten om geen integer- of float-datatypes te gebruiken in attribuutdata; alle attribuutdata behalve de timestamp voor elk OSM-object worden opgeslagen als strings.<\/P>
Een andere uitdaging bij het gebruik van OSM heeft betrekking op de geometrische datastructuur met way-, node- en relation-objecten. Nodes kunnen gemakkelijk worden omgezet naar ArcGIS-puntobjecten, way-objecten die niet dezelfde start en einde hebben kunnen ook gemakkelijk worden omgezet naar ArcGIS-polyline-objecten. Complexere uitvoergeometrieën zijn polygonen, omdat ze gevormd kunnen worden door way-objecten met dezelfde start en einde of relaties, die meerdere way-objecten verbinden om een "multipolygon" te vormen.<\/P><\/P>Relaties kunnen ook meerdere puntobjecten of punt- en way-objecten verbinden. Om alleen relation-objecten in aanmerking te nemen die "multipolygonen" vormen door way-elementen te verbinden, bevat de polygon-verbindende relations-functie het attribuut "multipolygon" met de waarde "yes" (zie figuur hieronder). Relaties die geen "multipolygon"-functies vormen, worden niet beschouwd in OSM2ArcGIS.<\/P><\/P><\/P><\/P>
De configuratie<\/H1>De configuratie van OSM2ArcGIS kan door de gebruiker worden gedefinieerd in twee JSON-gebaseerde configuratiebestanden, agolconfig.json en osmconfig.json. Het eerste stelt de tool in staat verbindingen tot stand te brengen met het ArcGIS Enterprise \/ Online-portaal.  Het laatste wordt gebruikt om configuraties voor verzoeken aan de OpenStreetMap-server op te zetten. Uitleg van alle JSON-attributen en voorbeelden van configuraties staan vermeld in onderstaande tabel.<\/SPAN><\/P><\/P>Parameter<\/TH>Gebruik<\/TH>Voorbeeld<\/TH><\/TR><\/THEAD>"categories"<\/SPAN><\/TD>Beheert de export van elementen uit OpenStreetMap, voor elke nieuwe configuratie met een andere geometrie of OSM-sleutel moet een nieuwe categorie worden aangemaakt binnen de volgende 5 eigenschappen: <\/SPAN>

- De gewenste OSM-sleutel voor de eigenschap "categoryName". Meerdere waarden zijn hier niet toegestaan. <\/SPAN>

- De gewenste OSM-tags voor de eigenschap "categoryValue". Meerdere waarden tussen vierkante haken. <\/SPAN>

- De uitgesloten velden van service op ArcGIS Online voor de eigenschap "attributeFieldsToExclude". Meerdere waarden tussen vierkante haken. <\/SPAN>

- Het geometrietype, geldige types zijn "line", "point" of "polygon". Meerdere waarden zijn hier niet toegestaan. <\/SPAN>

- Zet de eigenschap "isEnabled" op "yes" om een configuratie te activeren of op "no" om deze te deactiveren. <\/SPAN>Momenteel onnodige configuraties kunnen behouden blijven in het configuratiebestand.<\/SPAN><\/SPAN><\/TD>"categories" : <\/SPAN>
[ <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" :["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
         "geometryType" : "polygon", <\/SPAN>
         "isEnabled" : "yes" <\/SPAN>
     }, <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" : ["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
   "-enabled"-enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled -enabled  voor Python en controleert vervolgens het configbestand. Categorieën en Tags die beschikbaar zijn in OSM worden gedownload van een OSM-database en de waarden die in het configbestand zijn ingesteld, worden vergeleken met de waarden in de database. De module beëindigt het hele programma als de ingestelde waarden of tags in het configbestand niet beschikbaar zijn in de OSM-database van geldige tags/waarden, een ongeldige boundingbox of andere ongeldige waarden zijn ingesteld binnen het configbestand.<\/P><\/H2>OSMHelper<\/SPAN><\/H2>De OSMHelper-module is ontworpen om de verzoeken die naar de OpenStreetMap-server worden gestuurd te configureren en te controleren met behulp van de uitgebreide osm_runner-module. De module is geconfigureerd om de verwerkingssnelheid te optimaliseren door threads te creëren, om gelijktijdig gegevens te downloaden van de OSM-server voor de configuraties in het configbestand.<\/P><\/H2>Osm_runner<\/SPAN><\/H2>De Osm_runner-module is oorspronkelijk ontwikkeld door Jeffrey Scarmazzi en is uitgebreid om relation entities met het attribuut 1multipolygon7 en de waarde yes7 te verwerken.<\/P><\/H2>Osm_runner_utils<\/SPAN><\/H2>Osm_runner_utils biedt configuratie-instellingen die worden gebruikt met de osm_runner-module. Details over het OSM-serververzoekformaat kunnen worden ingesteld, evenals het uitvoerformaat voor het antwoord van de server en aanvullende filters kunnen worden gewijzigd door deze module aan te passen.<\/P><\/H2>AGOLHelper<\/SPAN><\/H2>AGOLHelper verwacht een Esri SpatialDataFrame als invoerobject en voert de creatie uit van een feature service binnen het portal van de gebruiker in ArcGIS Enterprise / Online en het uploaden van gegevens voor de gedefinieerde configuraties naar ten minste één laag voor elk geometrietype dat is ingesteld in osmconfig.json. Uploads naar het portal worden uitgevoerd met meerdere datablokken om serverfouten bij grote datasets te voorkomen.<\/P><\/P>Conclusie<\/H1>OSM2ArcGIS maakt het gemakkelijk om gegevens over te zetten van OSM naar een ArcGIS Enterprise / Online portal. Het enige wat je hoeft te doen is je python-installatie opzetten, de tool configureren via de JSON-gebaseerde configbestanden en ervoor zorgen dat je ten minste een publisher-rol hebt gekregen van je portalbeheerder.<\/P>Als je vragen of opmerkingen hebt, neem dan gerust contact met mij op of laat een reactie achter in het commentaargedeelte hieronder. <\/SPAN><\/P><\/P>Het script is beschikbaar voor download vanaf GitHub<\/A><\/SPAN><\/P>

Veel succes met data verwerken, Lukas <\/SPAN><\/P>(E-Mail:

lukas.bug@aol.de<\/A>)<\/P><\/BODY><\/HTML>