OSM2ArcGIS 013 Publier des donnE9es extraites d'OpenStreetMap dans un service de fonctionnalitE9s avec plusieurs couches sur ArcGIS Online ou ArcGIS Enterprise

LukasBug

<\/HEAD>

Introduction<\/H1>L'extraction de données depuis OpenStreetMap (OSM) peut être réalisée de différentes manières. Le projet OSM propose un site web, où les données peuvent être extraites au format .pbf inventé par OSM. Des plateformes externes fournissent des données déjà prétraitées et vérifiées à partir des sites web. L'API Overpass permet aux utilisateurs de télécharger de petites étendues de données (environ au niveau des villes et banlieues) via une requête web. Cette API agit comme un serveur de base de données et peut être interrogée avec un langage de requête spécial, Overpass QL.<\/P><\/P>Le script Python gratuit OSM2ArcGIS Python script<\/A>, disponible sur GitHub, est basé sur des données demandées via Overpass QL en utilisant une version adaptée du module python osm_runner de Jeffrey Scarmazzi<\/A>. Les données demandées sont traitées et converties au format ArcGIS SpatialDataframe. Après le traitement des données dans ArcGIS Online \/ ArcGIS Enterprise, un nouveau service d'entités est créé dans le portail de l'utilisateur.<\/P>

<\/P>

Dans le service d'entités, les données sont organisées en au moins trois couches différentes pour les trois types de géométrie disponibles : point, polyligne et polygone (plus de couches pour plus de configurations, qui seront expliquées plus tard). Les fonctionnalités supplémentaires d'OSM2ArcGIS sont expliquées en détail dans les sections suivantes de cette entrée de blog.<\/P>

<\/P>

Exigences<\/H1>Python<\/SPAN><\/H2>La version Python suivante et les packages doivent être installés. L'installation d'Anaconda aide à maintenir les installations Python existantes fonctionnelles en créant des environnements Python indépendants. Les utilisateurs bénéficient d'une interface intégrée d'installation et d'administration des packages Anaconda.<\/P><\/P>Comment configurer l'environnement Python dans Anaconda :<\/P>Téléchargez et installez la version 3.x de Anaconda<\/SPAN><\/A>. Ensuite, ouvrez Anaconda Navigator et créez un nouvel environnement Python. La version Python doit être 3.5 ou ultérieure. Installez ensuite ces packages dans l'environnement :<\/P>     pandas >= 0.20.2<\/A><\/SPAN> : Peut être trouvé dans la liste des packages dans Anaconda et installé directement.<\/LI>     click >= 6.7<\/A><\/SPAN> : Peut être trouvé dans la liste des packages dans Anaconda et installé directement. Les autres packages sont installés en utilisant le terminal et en entrant une ligne de code.<\/LI>     ArcGIS API for Python <= 1.5.0<\/A><\/SPAN>:

&nbsp;&nbsp;&nbsp; conda install -c esri arcgis=1.5.0‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><PRE class="lia-code-sample line-numbers language-none">ArcGIS API for Python doit être égale ou inférieure à la version 1.5.0 pour fonctionner correctement avec OSM2ArcGIS.

Pour plus d'informations, voir ce problème sur GitHub :&nbsp;<A class="link-titled" href="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" title="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" rel="nofollow noopener noreferrer" target="_blank">API for Python 1.5.1 & 1.5.2 : la méthode arcgis.geometry.Polygon.is_valid() pour les polygones ne fonctionne pas  Issue #335  Esri\a6hellip;<\/A>&nbsp;
                 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;<\/PRE><\/LI><LI style="text-indent: -18.0pt;"><SPAN style="color: #0366d6;">&nbsp; &nbsp; &nbsp;<A href="http:\/docs.python-requests.org\/en\/master\/" style="background-color: initial;" rel="nofollow noopener noreferrer" target="_blank">requests >= 2.18.4<\/A>&nbsp;<\/SPAN><PRE class="lia-code-sample line-numbers language-none"><CODE>&nbsp;&nbsp;&nbsp; pip install requests‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><\/LI><LI style="text-indent: -18.0pt;"><SPAN style="color: #0366d6;">&nbsp; &nbsp; &nbsp;<A href="https:\/\/pypi.org\/project\/progressbar\/" style="background-color: initial;" rel="nofollow noopener noreferrer" target="_blank">progressbar >= 2.5<\/A>&nbsp;<\/SPAN><PRE class="lia-code-sample line-numbers language-none"><CODE>&nbsp;&nbsp;&nbsp; pip install progressbar‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><\/LI><\/UL><H2 id="toc-hId--1537512138" id="toc-hId--1537512138"><SPAN style="font-size: 15px;">Exigence supplémentaire<\/SPAN><\/H2><P><SPAN style="font-size: 15px;"><SPAN style="color: #24292e;">Un compte ArcGIS Online avec un <span style='white-space: nowrap;'>user type</span> 1 Creator7 (Nouveaux types d'utilisateur)<span style='white-space: nowrap;'> </span>ou un compte ArcGIS Enterprise avec un <span style='white-space: nowrap;'>user type</span> 1 Level 27 (Utilisateur nommé, pour la version 10.6 et inférieure)<span style='white-space: nowrap;'> </span>et au moins un rôle 1 P</span>P<span style='white-space: nowrap;'>ublisher7</span> <span style='white-space: nowrap;'>role</span>. <span style='white-space: nowrap;'>(Un compte développeur ArcGIS Online répond également à ces exigences)</span></SPAN></P><P></P><H1 id='toc-hId-401811702' id='toc-hId-401811702'>Premiers pas</H1><OL><LI>Configurez votre environnement python comme décrit dans la section Exigences	.<\LI><LI>Téléchargez les fichiers depuis le <A class='link-titled' href='https://github.com/EsriDE/EsriDE-python-osm2arcgis' title='https://github.com/EsriDE/EsriDE-python-osm2arcgis' rel='nofollow noopener noreferrer' target='_blank'>dépôt GitHub</A>.<\LI><LI>Extrayez les fichiers de l'archive zip OSM2ArcGIS téléchargée vers un emplacement de votre choix.<\LI><LI>Adaptez le contenu du fichier runScript.bat pour correspondre aux chemins d'installation d'Anaconda, à l'environnement python et à l'emplacement du dossier OSM2ArcGIS où les fichiers du projet ont été extraits à l'étape 2. Par exemple :<PRE class='lia-code-sample line-numbers language-none'><CODE>set path=C:\your_anaconda_install_path\Anaconda3\Library\bin\;%PATH%
call conda activate OSM2ArcGIS
call "C:\Users\your_username\AppData\Local\conda\conda\envs\your_python_environment"\python.exe "C:\your_project_extraction_path"\MainModule.py‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Adaptez le contenu du fichier de configuration ArcGIS Online \/ Portal for ArcGIS agolconfig.json pour correspondre à l'URL de votre portail, votre nom d'utilisateur et mot de passe.<\LI>Optionnellement, adaptez le contenu du fichier de configuration OpenStreetMap osmconfig.json à la région désirée, ajoutez des configurations ou supprimez la configuration exemple.<\LI>Exécutez le fichier runScript.bat depuis votre explorateur de fichiers.<\LI>Allez sur votre portail ArcGIS Online et consultez les résultats.<\LI>Cliquez sur votre service d'entités créé récemment et utilisez le volet Visualisation pour afficher les résultats. Si vous n'avez pas modifié osmconfig.json, le résultat devrait ressembler à ceci :
 <\LI><\/P><\/P><\/P>Les données<\/SPAN><\/H1>Les géodonnées contribuéess au projet OSM ne sont pas aussi standardisées que les données fournies par les organisations gouvernementales ou les entreprises. Il existe des directives dans le wiki OSM, mais les utilisateurs utilisent divers clients sur divers appareils et ne sont pas obligés de générer des géométries d'une manière spécifique ni de fournir des valeurs d'attribut détaillées dans des champs d'attributs exactement définis.<\/P>
Cela peut entraîner des problèmes lors de l'analyse des données et de la confiance dans des types de données spécifiques. De plus, utiliser OpenStreetMap pour une carte routière avec des vitesses exactes sur des sections de route n'est pas toujours une bonne idée lorsqu'aucune unité exacte n'est spécifiée dans toutes les sections de route. C'est la raison pour laquelle nous avons décidé de ne pas utiliser les types de données integer ou float dans les données d'attribut, toutes les données d'attribut sauf le timestamp pour chaque objet OSM sont stockées sous forme de chaînes.<\/P>
Un autre défi lié à l'utilisation d'OSM concerne la structure des données géométriques avec les objets way, node et relation. Les nodes peuvent être facilement transférés en objets point ArcGIS, les objets way n'ayant pas le même début et la même fin peuvent également être facilement transférés en objets polyligne ArcGIS. Les géométries de sortie plus compliquées sont les polygones, car ils peuvent être formés par des objets way avec le même début et la même fin ou des relations, qui connectent plusieurs objets way pour former un « multipolygon ».<\/P><\/P>Les relations peuvent également connecter plusieurs objets point ou objets point et way. Pour ne prendre en compte que les objets relation qui forment des « multipolygons » en connectant des éléments way, la fonctionnalité polygon-connecting relations présente l'attribut « multipolygon » avec la valeur « yes » (voir figure ci-dessous). Les relations ne formant pas de fonctionnalités « multipolygon » ne sont pas prises en compte dans OSM2ArcGIS.<\/P><\/P><\/P><\/P>
La configuration<\/H1>La configuration d'OSM2ArcGIS peut être définie par l'utilisateur dans deux fichiers de configuration basés sur JSON, agolconfig.json et osmconfig.json. Le premier permet à l'outil d'établir des connexions au portail ArcGIS Enterprise \/ Online.  Le second est utilisé pour configurer les requêtes vers le serveur OpenStreetMap. L'explication de tous les attributs JSON et des exemples de configurations sont listés dans le tableau ci-dessous.<\/SPAN><\/P><\/P>Paramètre<\/TH>Utilisation<\/TH>Exemple<\/TH><\/TR><\/THEAD>"categories"<\/SPAN><\/TD>Contrôle l'exportation des éléments depuis OpenStreetMap, pour chaque nouvelle configuration avec une autre géométrie ou clé OSM une nouvelle catégorie doit être créée avec les 5 propriétés suivantes : <\/SPAN>

- La clé OSM désirée pour la propriété "categoryName". Plusieurs valeurs non autorisées ici. <\/SPAN>

- Les tags OSM désirés pour la propriété "categoryValue". Plusieurs valeurs entre crochets. <\/SPAN>

- Les champs exclus du service sur ArcGIS Online pour la propriété "attributeFieldsToExclude". Plusieurs valeurs entre crochets. <\/SPAN>

- Le type de géométrie, les types valides sont "line", "point" ou "polygon". Plusieurs valeurs non autorisées ici. <\/SPAN>

- Définir la propriété "isEnabled" à "yes" pour activer ou à "no" pour désactiver une configuration. <\/SPAN>Les configurations actuellement inutiles peuvent être conservées dans le fichier de configuration.<\/SPAN><\/SPAN><\/TD>"categories" : <\/SPAN>
[ <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" :["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
         "geometryType" : "polygon", <\/SPAN>
         "isEnabled" : "yes" <\/SPAN>
     }, <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" : ["station", "platform"], <\/SPAN>
  &nbpsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp;- nbsp; pour Python puis continue à vérifier le fichier de configuration. Les catégories et les tags disponibles dans OSM sont téléchargés depuis une base de données OSM et les valeurs définies dans le fichier de configuration sont comparées avec les valeurs dans la base de données. Le module termine tout le programme si les valeurs ou tags définis dans le fichier de configuration ne sont pas disponibles dans la base de données OSM des tags/valeurs valides, si une boundingbox invalide ou d'autres valeurs invalides sont définies dans le fichier de configuration.<\/P><\/H2>OSMHelper<\/SPAN><\/H2>Le module OSMHelper est conçu pour configurer et contrôler les requêtes envoyées au serveur OpenStreetMap en utilisant le module étendu osm_runner. Le module est configuré pour optimiser la vitesse de traitement en créant des threads, afin de télécharger simultanément des données depuis le serveur OSM pour les configurations dans le fichier de configuration.<\/P><\/H2>Osm_runner<\/SPAN><\/H2>Le module Osm_runner a été initialement développé par Jeffrey Scarmazzi et a été étendu pour traiter les entités relation avec l'attribut « multipolygon » et la valeur « yes ».<\/P><\/H2>Osm_runner_utils<\/SPAN><\/H2>Osm_runner_utils fournit les paramètres de configuration utilisés avec le module osm_runner. Les détails sur le format des requêtes au serveur OSM peuvent être définis, ainsi que le format de sortie pour la réponse du serveur, et des filtres supplémentaires peuvent être modifiés en modifiant ce module.<\/P><\/H2>AGOLHelper<\/SPAN><\/H2>AGOLHelper attend un Esri SpatialDataFrame comme objet d'entrée et effectue la création d'un service de fonctionnalités à l'intérieur du portail utilisateur dans ArcGIS Enterprise / Online ainsi que le téléchargement des données pour les configurations définies vers au moins une couche pour chaque type de géométrie défini dans osmconfig.json. Les téléchargements vers le portail sont effectués en utilisant plusieurs morceaux de données afin d'éviter les erreurs serveur sur de grands ensembles de données.<\/P><\/P>Conclusion<\/H1>OSM2ArcGIS facilite le transfert des données d'OSM vers un portail ArcGIS Enterprise / Online. Tout ce que vous avez à faire est d'installer Python, configurer l'outil via les fichiers JSON de configuration et vous assurer que vous avez reçu au moins un rôle d'éditeur par votre administrateur du portail.<\/P>Si vous avez des questions ou des commentaires, n'hésitez pas à me contacter ou à laisser un commentaire dans la section ci-dessous. <\/SPAN><\/P><\/P>Le script est disponible en téléchargement sur GitHub<\/A><\/SPAN><\/P>

Bon traitement des données, Lukas <\/SPAN><\/P>(E-Mail :

lukas.bug@aol.de<\/A>)<\/P><\/BODY><\/HTML>