OSM2ArcGIS – Veröffentlichen Sie aus OpenStreetMap extrahierte Daten in einem Feature-Service mit mehreren Layern auf ArcGIS Online oder ArcGIS Enterprise

LukasBug

<\/HEAD>

Einführung<\/H1>Die Datenauswertung aus OpenStreetMap (OSM) kann auf verschiedene Weise durchgeführt werden. Das OSM-Projekt bietet eine Website, auf der Daten im von OSM erfundenen .pbf-Format extrahiert werden können. Externe Plattformen stellen bereits vorverarbeitete und verifizierte Daten von den Websites bereit. Die Overpass API ermöglicht es Benutzern, kleine Datenbereiche (ungefähr auf Stadt- und Vorortebene) über eine Webanfrage herunterzuladen. Diese API fungiert wie ein Datenbankserver und kann mit einer speziellen Datenbanksprache, Overpass QL, abgefragt werden.<\/P><\/P>Das kostenlose OSM2ArcGIS Python-Skript<\/A>, verfügbar auf GitHub, basiert auf Daten, die über Overpass QL mit einer angepassten Version des Jeffrey Scarmazzi019s osm_runner Python-Moduls<\/A> angefordert werden. Die angeforderten Daten werden verarbeitet und in das ArcGIS SpatialDataframe-Format konvertiert. Nach der Datenverarbeitung in ArcGIS Online \/ ArcGIS Enterprise wird ein neuer Feature-Service im Portal des Benutzers erstellt.<\/P>

<\/P>

Innerhalb des Feature-Services sind die Daten in mindestens drei verschiedenen Layern für die drei verfügbaren Geometrietypen Punkt, Polyline und Polygon organisiert (mehr Layer für weitere Konfigurationen, die später erklärt werden). Die zusätzlichen Funktionen von OSM2ArcGIS werden in den folgenden Abschnitten dieses Blogeintrags ausführlich erläutert.<\/P>

<\/P>

Anforderungen<\/H1>Python<\/SPAN><\/H2>Folgende Python-Version und Pakete müssen installiert sein. Die Installation von Anaconda hilft dabei, bestehende Python-Installationen funktionsfähig zu halten, indem unabhängige Python-Umgebungen erstellt werden. Benutzer profitieren von einer in Anaconda integrierten Paketinstallations- und Verwaltungsoberfläche.<\/P><\/P>So richten Sie die Python-Umgebung in Anaconda ein:<\/P>Laden Sie die 3.x-Version von Anaconda<\/SPAN><\/A> herunter und installieren Sie sie. Öffnen Sie dann den Anaconda Navigator und erstellen Sie eine neue Python-Umgebung. Die Python-Version muss 3.5 oder höher sein. Installieren Sie anschließend diese Pakete in der Umgebung:<\/P>     pandas >= 0.20.2<\/A><\/SPAN>: Kann in der Paketliste von Anaconda gefunden und direkt installiert werden.<\/LI>     click >= 6.7<\/A><\/SPAN>: Kann in der Paketliste von Anaconda gefunden und direkt installiert werden. Die anderen Pakete werden über das Terminal mit einem Codezeilenbefehl installiert.<\/LI>     ArcGIS API for Python <= 1.5.0<\/A><\/SPAN>:

&nbsp;&nbsp;&nbsp; conda install -c esri arcgis=1.5.0‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><PRE class="lia-code-sample line-numbers language-none">Die ArcGIS API for Python muss Version 1.5.0 oder niedriger sein, um korrekt mit OSM2ArcGIS zu funktionieren.

Weitere Informationen finden Sie unter diesem Issue auf GitHub:&nbsp;<A class="link-titled" href="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" title="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" rel="nofollow noopener noreferrer" target="_blank">API for Python 1.5.1 & 1.5.2: arcgis.geometry.Polygon.is_valid() Methode für Polygone funktioniert nicht  Issue #335  Esri\a085;<\/A>&nbsp;
                 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; <\/PRE><\/LI><LI style="text-indent: -18.0pt;"><SPAN style="color: #0366d6;">&nbsp; &nbsp; &nbsp;<A href="http:\/\/docs.python-requests.org\/en\/master\/" style="background-color: initial;" rel="nofollow noopener noreferrer" target="_blank">requests >= 2.18.4<\/A>&nbsp;<\/SPAN><PRE class="lia-code-sample line-numbers language-none"><CODE>&nbsp;&nbsp;&nbsp; pip install requests‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><\/LI><LI style="text-indent: -18.0pt;"><SPAN style="color: #0366d6;">&nbsp; &nbsp; &nbsp;<A href="https:\/\/pypi.org\/project\/progressbar\/022" style="background-color: initial;" rel="nofollow noopener noreferrer" target="_blank">progressbar >= 2.5<\/A>&nbsp;<\/SPAN><PRE class="lia-code-sample line-numbers language-none"><CODE>&nbsp;&nbsp;&nbsp; pip install progressbar‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><\/LI><\UL><H2 id=0ctoc-hId--15375121380ctoc-hId--1537512138"><SPAN style=0font-size:15px;>Zusätzliche Anforderung<\SPAn></H2>
<P>
<SPAn style=0font-size:15px;>
<SPAn style=0color:324292e;>Ein ArcGIS Online-Konto mit</SPAn> <SPAn style=0color:324292e;>Benutzertyp</SPAn>
<SPAn style=0color:324292e;> 2Creator2 (Neue Benutzertypen)</SPAn>
<SPAn style=0color:324292e;> oder ein ArcGIS Enterprise-Konto mit&nbsp;</SPAn>
<SPAn style=0color:324292e;>Benutzertyp</SPAn>
<SPAn style=0color:324292e;> 2Level 22 (Benannter Benutzer, für Version 10.6 und darunter)</SPAn>
<SPAn style=0color:324292e;>&nbsp;</SPAn>
<SPAn style=0color:324292e;>und mindestens eine 2Publisher2 Rolle</SPAn>
<SPAn style=0color:324292e;>.&nbsp;</SPAn>
<SPAn style=0color:324292e;>(Ein ArcGIS Online Developer Account erfüllt ebenfalls diese Anforderungen)</SPAn>
</P>
<P></P>
<H1 id=0ctoc-hId-4018117020ctoc-hId-401811702">Erste Schritte</H1>
<OL>
<LI>Richten Sie Ihre Python-Umgebung wie im Abschnitt 2Anforderungen2 beschrieben ein.<\LI>
<LI>Laden Sie die Dateien aus dem <A class=2link-titled2 href=2https:\/\/
github.com\EsriDE\EsriDE-python-osm2arcgis2 title=2https:\/\/
github.com\EsriDE\EsriDE-python-osm2arcgis2 rel=2nofollow noopener noreferrer2 target=2_blank2>GitHub Repository</A> herunter.<\LI>
<LI>Entpacken Sie die Dateien aus dem heruntergeladenen OSM2ArcGIS Zip-Archiv an einen Ort Ihrer Wahl.<\LI>
<LI>Passen Sie den Inhalt der Datei runScript.bat an die Pfade Ihrer Anaconda-Installation, der Python-Umgebung und dem Speicherort des OSM2ArcGIS-Ordners an, in den die Projektdateien in Schritt 2 extrahiert wurden. Zum Beispiel:<PRE class=lia-code-sample line-numbers language-none"><CODE>set path=C:\your_anaconda_install_path\Anaconda3\Library\bin;%PATH%
call conda activate OSM2ArcGIS
call "C:\Users\your_username\AppData\Local\conda\conda\envs\your_python_environment"\python.exe "C:\your_project_extraction_path"\MainModule.py‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Passen Sie den Inhalt der ArcGIS Online \/ Portal for ArcGIS Konfigurationsdatei 
agolconfig.json nicht übersetzt an Ihre Portal URL, Ihren Benutzernamen und Ihr Passwort an.

Passen Sie optional den Inhalt der OpenStreetMap-Konfigurationsdatei osmconfig.json nicht übersetzt an die gewünschte Region an, fügen Sie Konfigurationen hinzu oder entfernen Sie die Beispielkonfiguration.

Führen Sie die Datei runScript.bat nicht übersetzt über Ihren Dateibrowser aus.

Gehen Sie zu Ihrem ArcGIS Online Portal und sehen Sie sich die Ergebnisse an.

Klicken Sie auf Ihren zuletzt erstellten Feature-Service und verwenden Sie das Fenster Visualisierung, um die Ergebnisse anzuzeigen. Wenn Sie osmconfig.json nicht geändert haben, sollte das Ergebnis wie folgt aussehen:
 

<\/P><\/P><\/P>Die Daten<\/SPAN><\/H1>Die Geodaten, die zum OSM-Projekt beigetragen werden, sind nicht so standardisiert wie Daten, die von Regierungsorganisationen oder Unternehmen bereitgestellt werden. Es gibt Richtlinien im OSM-Wiki, aber Benutzer verwenden verschiedene Clients auf verschiedenen Geräten und sind nicht gezwungen, Geometrien auf eine bestimmte Weise zu erzeugen oder detaillierte Attributwerte in genau definierten Attributfeldern bereitzustellen.<\/P>
Dies kann zu Problemen beim Parsen der Daten und beim Vertrauen auf bestimmte Datentypen führen. Auch die Verwendung von OpenStreetMap für eine Straßenkarte mit genauen Geschwindigkeiten auf Straßenabschnitten ist nicht immer eine gute Idee, wenn in allen Straßenabschnitten keine genaue Einheit angegeben ist. Deshalb haben wir beschlossen, keine Integer- oder Float-Datentypen in Attributdaten zu verwenden; alle Attributdaten außer dem Zeitstempel für jedes OSM-Objekt werden als Strings gespeichert.<\/P>
Eine weitere Herausforderung bei der Verwendung von OSM hängt mit der geometrischen Datenstruktur mit Way-, Node- und Relation-Objekten zusammen. Nodes können leicht in ArcGIS-Punktobjekte umgewandelt werden, Way-Objekte, deren Start- und Endpunkt nicht identisch sind, können ebenfalls leicht in ArcGIS-Polylinienobjekte umgewandelt werden. Komplexere Ausgabegeometrien sind Polygone, da sie durch Way-Objekte mit demselben Start- und Endpunkt oder Relationen gebildet werden können, die mehrere Way-Objekte verbinden, um ein "Multipolygon" zu bilden.<\/P><\/P>Relationen können auch mehrere Punktobjekte oder Punkt- und Way-Objekte verbinden. Um nur Relation-Objekte zu berücksichtigen, die "Multipolygone" bilden, indem sie Way-Elemente verbinden, verfügen die polygonverbindenden Relationen über das Attribut "multipolygon" mit dem Wert "yes" (siehe Abbildung unten). Relationen, die keine "Multipolygon"-Features bilden, werden in OSM2ArcGIS nicht berücksichtigt.<\/P><\/P><\/P><\/P>
Die Konfiguration<\/H1>Die Konfiguration von OSM2ArcGIS kann vom Benutzer in zwei JSON-basierten Konfigurationsdateien definiert werden, agolconfig.json und osmconfig.json. Die erste ermöglicht es dem Tool, Verbindungen zum ArcGIS Enterprise \/ Online Portal herzustellen. Letztere wird verwendet, um Konfigurationen für Anfragen an den OpenStreetMap-Server einzurichten. Eine Erklärung aller JSON-Attribute und Beispiele für Konfigurationen sind in der folgenden Tabelle aufgeführt.<\/SPAN><\/P><\/P>Parameter<\/TH>Verwendung<\/TH>Beispiel<\/TH><\/TR><\/THEAD>"categories"<\/SPAN><\/TD>Steuert den Export von Elementen aus OpenStreetMap; für jede neue Konfiguration mit einer anderen Geometrie oder einem anderen OSM-Schlüssel muss innerhalb der folgenden 5 Eigenschaften eine neue Kategorie erstellt werden: <\/SPAN>

- Der gewünschte OSM-Schlüssel für die Eigenschaft "categoryName". Mehrere Werte sind hier nicht erlaubt. <\/SPAN>

- Die gewünschten OSM-Tags für die Eigenschaft "categoryValue". Mehrere Werte in eckigen Klammern. <\/SPAN>

- Die auszuschließenden Felder vom Dienst auf ArcGIS Online für die Eigenschaft "attributeFieldsToExclude". Mehrere Werte in eckigen Klammern. <\/SPAN>

- Der Geometrietyp, gültige Typen sind "line", "point" oder "polygon". Mehrere Werte sind hier nicht erlaubt. <\/SPAN>

- Setzen Sie die Eigenschaft "isEnabled" auf "yes", um eine Konfiguration zu aktivieren oder auf "no", um sie zu deaktivieren. <\/SPAN>Derzeit nicht benötigte Konfigurationen können in der Konfigurationsdatei beibehalten werden.<\/SPAN><\/SPAN><\/TD>"categories" : <\/SPAN>
[ <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" :["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
         "geometryType" : "polygon", <\/SPAN>
         "isEnabled" : "yes" <\/SPAN>
     }, <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" : ["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
  &n bsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; & nbsp ; für Python und überprüft dann die configfile. Kategorien und Tags, die in OSM verfügbar sind, werden aus einer OSM-Datenbank heruntergeladen und die in der configfile festgelegten Werte werden mit den Werten in der Datenbank verglichen. Das Modul beendet das gesamte Programm, wenn die in der configfile festgelegten Werte oder Tags nicht in der OSM-Datenbank gültiger Tags/Werte vorhanden sind, eine ungültige boundingbox oder andere ungültige Werte in der configfile gesetzt sind.<\/P><\/H2>OSMHelper<\/SPAN><\/H2>Das OSMHelper-Modul ist dazu konzipiert, die Anfragen an den OpenStreetMap-Server unter Verwendung des erweiterten osm_runner-Moduls einzurichten und zu steuern. Das Modul ist so konfiguriert, dass es die Verarbeitungsgeschwindigkeit durch das Erstellen von Threads optimiert, um gleichzeitig Daten vom OSM-Server für die Konfigurationen in der configfile herunterzuladen.<\/P><\/H2>Osm_runner<\/SPAN><\/H2>Das Osm_runner-Modul wurde ursprünglich von Jeffrey Scarmazzi entwickelt und wurde erweitert, um die Relation-Entitäten mit dem Attribut „multipolygon“ und dem Wert „yes“ zu verarbeiten.<\/P><\/H2>Osm_runner_utils<\/SPAN><\/H2>Osm_runner_utils bietet Konfigurationseinstellungen, die mit dem osm_runner-Modul verwendet werden. Details zum Anfrageformat des OSM-Servers können eingestellt werden, ebenso wie das Ausgabeformat für die Antwort des Servers, und zusätzliche Filter können durch Ändern dieses Moduls angepasst werden.<\/P><\/H2>AGOLHelper<\/SPAN><\/H2>AGOLHelper erwartet ein Esri SpatialDataFrame als Eingabeobjekt und führt die Erstellung eines Feature-Service innerhalb des Benutzerportals in ArcGIS Enterprise / Online durch sowie den Upload von Daten für die definierten Konfigurationen zu mindestens einer Ebene für jeden Geometrietyp, der in osmconfig.json festgelegt ist. Uploads zum Portal werden unter Verwendung mehrerer Datenabschnitte durchgeführt, um Serverfehler bei großen Datensätzen zu vermeiden.<\/P><\/P>Fazit<\/H1>OSM2ArcGIS macht es einfach, Daten von OSM zu einem ArcGIS Enterprise / Online-Portal zu übertragen. Alles, was Sie tun müssen, ist Ihre Python-Installation einzurichten, das Tool über die JSON-basierten configfiles zu konfigurieren und sicherzustellen, dass Ihnen mindestens eine Publisher-Rolle von Ihrem Portaladministrator zugewiesen wurde.<\/P>Wenn Sie Fragen oder Kommentare haben, können Sie mich gerne kontaktieren oder einen Kommentar im Kommentarfeld unten hinterlassen. <\/SPAN><\/P><\/P>Das Skript ist auf GitHub zum Download verfügbar<\/A><\/SPAN><\/P>

Viel Erfolg bei der Datenverarbeitung, Lukas <\/SPAN><\/P>(E-Mail:

lukas.bug@aol.de<\/A>)<\/P><\/BODY><\/HTML>