OSM2ArcGIS 6 Publica datos extraEDdos de OpenStreetMap en un servicio de entidades con mFAltiples capas en ArcGIS Online o ArcGIS Enterprise

LukasBug

<\/HEAD>

Introducción<\/H1>La extracción de datos de OpenStreetMap (OSM) se puede realizar de varias maneras. El proyecto OSM cuenta con un sitio web, donde los datos pueden extraerse en el formato .pbf inventado por OSM. Plataformas externas proporcionan datos ya preprocesados y verificados desde los sitios web. La Overpass API permite a los usuarios descargar pequeñas extensiones de datos (aproximadamente a nivel de ciudad y suburbio) mediante una solicitud web. Esta API actúa como un servidor de base de datos y puede ser consultada con un lenguaje especial de consulta de bases de datos, Overpass QL.<\/P><\/P>El script gratuito OSM2ArcGIS Python script<\/A>, disponible en GitHub, se basa en datos solicitados vía Overpass QL usando una versión adaptada del módulo python osm_runner de Jeffrey Scarmazzi<\/A>. Los datos solicitados se procesan y convierten al formato ArcGIS SpatialDataframe. Después del procesamiento de datos en ArcGIS Online \/ ArcGIS Enterprise, se crea un nuevo servicio de entidades dentro del portal del usuario.<\/P>

<\/P>

Dentro del servicio de entidades, los datos están organizados en al menos tres capas diferentes para los tres tipos geométricos disponibles: punto, polilínea y polígono (más capas para más configuraciones, que se explicarán más adelante). Las características adicionales de OSM2ArcGIS se explican en detalle en las siguientes secciones de esta entrada del blog.<\/P>

<\/P>

Requisitos<\/H1>Python<\/SPAN><\/H2>Se deben instalar la siguiente versión de Python y paquetes. La instalación de Anaconda ayuda a mantener funcionando las instalaciones existentes de python creando entornos python independientes. Los usuarios se benefician de una interfaz integrada para la instalación y administración de paquetes en Anaconda.<\/P><\/P>Cómo configurar el entorno Python en Anaconda:<\/P>Descargue e instale la versión 3.x de Anaconda<\/SPAN><\/A>. Luego abra el Anaconda Navigator y cree un nuevo entorno Python. La versión de Python debe ser 3.5 o superior. Luego instale estos paquetes en el entorno:<\/P>     pandas >= 0.20.2<\/A><\/SPAN>: Se puede encontrar en la lista de paquetes en Anaconda e instalar directamente.<\/LI>     click >= 6.7<\/A><\/SPAN>: Se puede encontrar en la lista de paquetes en Anaconda e instalar directamente. Los otros paquetes se instalan usando la terminal ingresando una línea de código.<\/LI>     ArcGIS API for Python <= 1.5.0<\/A><\/SPAN>:

&nbsp;&nbsp;&nbsp; conda install -c esri arcgis=1.5.0‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><PRE class="lia-code-sample line-numbers language-none">ArcGIS API for Python debe ser igual o menor que la versión 1.5.0 para funcionar correctamente con OSM2ArcGIS.

Para más información vea este issue en GitHub:&nbsp;<A class="link-titled" href="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" title="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" rel="nofollow noopener noreferrer" target="_blank">API for Python 1.5.1 & 1.5.2: arcgis.geometry.Polygon.is_valid() method for polygons does not work  Issue #335  Esri\a0606060606060606060606060606060606060606...<\/>\n                 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; <\/>\n<\/>\n</PRE></LI><LI style="text-indent: -18.0pt;"><SPAN style="color: #0366d6;">&nbsp; &nbsp; &nbsp;<A href="http:\/\/docs.python-requests.org\/en-master\" style="background-color: initial;" rel="nofollow noopener noreferrer" target="_blank">requests >= 2.18.4<\/> </SPAN><PRE class="lia-code-sample line-numbers language-none"><CODE>&nbsp;&nbsp;&nbsp; pip install requests‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍</SPAN></SPAN>

     <\/P>

<\/P>

<\/P>

Los datos<\/SPAN><\/H1>Los geodatos contribuidos al proyecto OSM no están tan estandarizados como los datos proporcionados por organizaciones gubernamentales o empresas. Hay directrices dentro de la wiki de OSM, pero los usuarios operan varios clientes en varios dispositivos y no están obligados a generar geometrías de una manera específica ni a proporcionar valores detallados de atributos en campos de atributos exactamente definidos.<\/P>
Esto puede llevar a problemas al analizar los datos y confiar en tipos de datos específicos. Además, usar OpenStreetMap para una hoja de ruta con velocidades exactas en secciones de carretera no siempre es una buena idea cuando no hay una unidad exacta especificada en todas las secciones de carretera. Esa es la razón por la que decidimos no usar tipos de datos integer o float en los datos de atributos, todos los datos de atributos excepto la marca temporal para cada objeto OSM se almacenan como cadenas.<\/P>
Otro desafío al usar OSM está relacionado con la estructura de datos geométricos con objetos way, node y relation. Los nodos pueden transferirse fácilmente a objetos punto de ArcGIS, los objetos way que no tienen el mismo inicio y fin también pueden transferirse fácilmente a objetos polilínea de ArcGIS. Las geometrías de salida más complicadas son los polígonos, ya que pueden formarse por objetos way con el mismo inicio y fin o relaciones, que conectan múltiples objetos way para formar un "multipolygon".<\/P><\/P>Las relaciones también pueden conectar múltiples objetos punto o objetos punto y way. Para tener en cuenta solo los objetos relation que forman "multipolygons" conectando elementos way, la característica polygon-connecting relations presenta el atributo "multipolygon" con el valor "yes" (ver figura abajo). Las relaciones que no forman características "multipolygon" no se consideran en OSM2ArcGIS.<\/P><\/P><\/P><\/P>
La configuración<\/H1>La configuración de OSM2ArcGIS puede ser definida por el usuario en dos archivos de configuración basados en JSON, agolconfig.json y osmconfig.json. El primero permite que la herramienta establezca conexiones con el portal ArcGIS Enterprise \/ Online.  El segundo se usa para configurar solicitudes al servidor OpenStreetMap. La explicación de todos los atributos JSON y ejemplos para configuraciones están listados en la tabla abajo.<\/SPAN><\/P><\/P>Parámetro<\/TH>Uso<\/TH>Ejemplo<\/TH><\/TR><\/THEAD>"categories"<\/SPAN><\/TD>Controla la exportación de elementos desde OpenStreetMap, para cada nueva configuración con otra geometría o clave OSM debe crearse una nueva categoría dentro de las siguientes 5 propiedades: <\/SPAN>

- La clave OSM deseada para la propiedad "categoryName". No se permiten múltiples valores aquí. <\/SPAN>

- Las etiquetas OSM deseadas para la propiedad "categoryValue". Múltiples valores entre corchetes. <\/SPAN>

- Los campos excluidos del servicio en ArcGIS Online para la propiedad "attributeFieldsToExclude". Múltiples valores entre corchetes. <\/SPAN>

- El tipo de geometría, los tipos válidos son "line", "point" o "polygon". No se permiten múltiples valores aquí. <\/SPAN>

- Establecer la propiedad "isEnabled" a "yes" para activar o a "no" para desactivar una configuración. <\/SPAN>Actualmente se pueden conservar configuraciones innecesarias en el archivo de configuración.<\/SPAN><\/SPAN><\/TD>"categories" : <\/SPAN>
[ <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" :["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
         "geometryType" : "polygon", <\/SPAN>
         "isEnabled" : "yes" <\/SPAN>
     }, <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" : ["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
   "}\n para Python y luego continúa verificando el configfile. Las Categorías y Etiquetas disponibles en OSM se descargan de una base de datos OSM y los valores establecidos en el configfile se comparan con los valores en la base de datos. El módulo termina todo el programa si los valores o etiquetas establecidos en el configfile no están disponibles en la base de datos OSM de etiquetas/valores válidos, se establece un boundingbox inválido u otros valores inválidos dentro del configfile.<\/P><\/H2>OSMHelper<\/SPAN><\/H2>El módulo OSMHelper está diseñado para configurar y controlar las solicitudes enviadas al servidor OpenStreetMap usando el módulo extendido osm_runner. El módulo está configurado para optimizar la velocidad de procesamiento creando hilos, para descargar simultáneamente datos del servidor OSM para las configuraciones en el configfile.<\/P><\/H2>Osm_runner<\/SPAN><\/H2>El módulo Osm_runner fue desarrollado originalmente por Jeffrey Scarmazzi y ha sido extendido para procesar las entidades relation con el atributo 1multipolygon7 y el valor yes7.<\/P><\/H2>Osm_runner_utils<\/SPAN><\/H2>Osm_runner_utils proporciona configuraciones usadas con el módulo osm_runner. Se pueden establecer detalles sobre el formato de solicitud al servidor OSM, así como el formato de salida para la respuesta del servidor y se pueden cambiar filtros adicionales modificando este módulo.<\/P><\/H2>AGOLHelper<\/SPAN><\/H2>AGOLHelper espera un Esri SpatialDataFrame como objeto de entrada y realiza la creación de un servicio de entidades dentro del portal del usuario en ArcGIS Enterprise / Online y la carga de datos para las configuraciones definidas a al menos una capa para cada tipo de geometría establecido en osmconfig.json. Las cargas al portal se realizan usando múltiples fragmentos de datos para prevenir errores del servidor en conjuntos de datos grandes.<\/P><\/P>Conclusión<\/H1>OSM2ArcGIS facilita la transferencia de datos desde OSM a un portal ArcGIS Enterprise / Online. Todo lo que necesitas hacer es configurar tu instalación python, configurar la herramienta mediante los configfiles basados en JSON y asegurarte de que te hayan otorgado al menos un rol de publisher por tu administrador del portal.<\/P>Si tienes alguna pregunta o comentario, no dudes en contactarme o dejar un comentario en la sección de comentarios abajo. <\/SPAN><\/P><\/P>El script está disponible para descargar desde GitHub<\/A><\/SPAN><\/P>

Feliz procesamiento de datos, Lukas <\/SPAN><\/P>(E-Mail:

lukas.bug@aol.de<\/A>)<\/P><\/BODY><\/HTML>