OSM2ArcGIS – Publique dados extraídos do OpenStreetMap em um serviço de feição com múltiplas camadas no ArcGIS Online ou ArcGIS Enterprise

LukasBug

<\/HEAD>

Introdução<\/H1>A extração de dados do OpenStreetMap (OSM) pode ser realizada de várias maneiras. O projeto OSM possui um site, onde os dados podem ser extraídos no formato .pbf inventado pelo OSM. Plataformas externas fornecem dados já pré-processados e verificados a partir dos sites. A Overpass API permite que os usuários baixem pequenas extensões de dados (aproximadamente no nível de cidade e subúrbio) via uma requisição web. Esta API funciona como um servidor de banco de dados e pode ser consultada com uma linguagem especial de consulta de banco de dados, Overpass QL.<\/P><\/P>O script Python gratuito OSM2ArcGIS Python script<\/A>, disponível no GitHub, é baseado em dados solicitados via Overpass QL usando uma versão adaptada do módulo python osm_runner de Jeffrey Scarmazzi<\/A>. Os dados solicitados são processados e convertidos para o formato ArcGIS SpatialDataframe. Após o processamento dos dados no ArcGIS Online \/ ArcGIS Enterprise, um novo serviço de feição é criado dentro do portal do usuário.<\/P>

<\/P>

Dentro do serviço de feição, os dados são organizados em pelo menos três camadas diferentes para os três tipos geométricos disponíveis: ponto, polilinha e polígono (mais camadas para mais configurações, que serão explicadas posteriormente). As funcionalidades adicionais do OSM2ArcGIS são explicadas em detalhes nas seções seguintes desta entrada do blog.<\/P>

<\/P>

Requisitos<\/H1>Python<\/SPAN><\/H2>As seguintes versões do Python e pacotes devem estar instalados. A instalação do Anaconda ajuda a manter as instalações existentes do python funcionando criando ambientes python independentes. Os usuários se beneficiam de uma interface integrada para instalação e administração de pacotes no Anaconda.<\/P><\/P>Como configurar o Ambiente Python no Anaconda:<\/P>Baixe e instale a versão 3.x do Anaconda<\/SPAN><\/A>. Depois abra o Anaconda Navigator e crie um novo Ambiente Python. A versão do Python deve ser 3.5 ou superior. Em seguida, instale estes pacotes no ambiente:<\/P>     pandas >= 0.20.2<\/A><\/SPAN>: Pode ser encontrado na lista de pacotes no Anaconda e instalado diretamente.<\/LI>     click >= 6.7<\/A><\/SPAN>: Pode ser encontrado na lista de pacotes no Anaconda e instalado diretamente. Os outros pacotes são instalados usando o terminal e digitando uma linha de código.<\/LI>     ArcGIS API for Python <= 1.5.0<\/A><\/SPAN>:

    conda install -c esri arcgis=1.5.0‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

API for Python 1.5.1 & 1.5.2: arcgis.geometry.Polygon.is_valid() method for polygons does not work  Issue #335  Esri a                  <\ / A > 
                 <\ / PRE ><\ / LI >     requests >= 2.18.4<\ / A > 

    pip install requests‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

progressbar >= 2.5<\ / A > 

    pip install progressbar‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Requisito Adicional<\ / SPAN ><\ / H2 >Uma conta ArcGIS Online com<\ / SPAN > tipo de usuário<\ / SPAN > Creator (Novos tipos de usuário)<\ / SPAN > ou uma conta ArcGIS Enterprise com <\ / SPAN >tipo de usuário<\ / SPAN > Level 2 (Usuário nomeado, para versão 10.6 e inferiores)<\ / SPAN > <\ / SPAN >e pelo menos um papel Publisher.<\ / SPAN >. <\ / SPAN >(Uma conta ArcGIS Online Developer também atende a esses requisitos)<\ / SPAN ><\ / P ><\ / P >Primeiros passos<\ / H1 >Configure seu ambiente python conforme descrito na seção Requisitos.<\ / LI >Baixe os arquivos do repositório GitHub<\ / A >.<\ / LI >Extraia os arquivos do arquivo zip OSM2ArcGIS baixado para um local da sua escolha.<\ / LI >Adapte o conteúdo do arquivo runScript.bat para corresponder aos caminhos da sua instalação Anaconda, ao ambiente python e ao local da pasta OSM2ArcGIS, onde os arquivos do projeto foram extraídos na etapa 2. Exemplo:

set path=C:\your_anaconda_install_path\\Anaconda3\\Library\\bin\\;%PATH%

Adapte o conteúdo do arquivo de configuração ArcGIS Online \/ Portal for ArcGIS agolconfig.json<\ / A > <\ / SPAN >para corresponder à URL do seu portal, seu nome de usuário e senha.<\ / LI >Opcionalmente adapte o conteúdo do arquivo de configuração OpenStreetMap osmconfig.json<\ / A > <\ / SPAN >para a região desejada, adicione configurações ou remova a configuração exemplo.<\ / LI >Execute o arquivo runScript.bat<\ / A > <\ / SPAN >a partir do seu navegador de arquivos.<\ / LI >Vá para seu portal ArcGIS Online e veja os resultados.<\ / LI >Clique no serviço de feição criado mais recentemente e use o painel Visualization para mostrar os resultados. Se você não modificou osmconfig.json<\ / A >, o resultado deve ser uma saída como esta:
 <\ / LI ><\ / OL >

<\/P>

<\/P>

<\/P>

Os dados<\/SPAN><\/H1>Os geodados contribuídos para o projeto OSM não são tão padronizados quanto os dados fornecidos por organizações governamentais ou empresas. Existem diretrizes dentro do wiki do OSM, mas os usuários operam vários clientes em vários dispositivos e não são obrigados a gerar geometrias de uma maneira específica ou fornecer valores de atributos detalhados em campos de atributos exatamente definidos.<\/P>
Isso pode levar a problemas ao analisar os dados e confiar em tipos de dados específicos. Além disso, usar OpenStreetMap para um mapa rodoviário com velocidades exatas em trechos de estrada nem sempre é uma boa ideia quando não há unidade exata especificada em todos os trechos de estrada. Essa é a razão pela qual decidimos não usar tipos de dados inteiro ou float nos dados de atributos, todos os dados de atributos exceto o timestamp para cada objeto OSM são armazenados como strings.<\/P>
Outro desafio ao usar OSM está relacionado à estrutura dos dados geométricos com objetos way, node e relation. Nodes podem ser facilmente transferidos para objetos ponto do ArcGIS, objetos way que não têm o mesmo início e fim também podem ser facilmente transferidos para objetos polilinha do ArcGIS. Geometrias de saída mais complicadas são polígonos, pois podem ser formados por objetos way com o mesmo início e fim ou relations, que conectam múltiplos objetos way para formar um "multipolygon".<\/P><\/P>Relations também podem conectar múltiplos objetos ponto ou objetos ponto e way. Para considerar apenas objetos relation que formam "multipolygons" conectando elementos way, as relations que conectam polígonos apresentam o atributo "multipolygon" com o valor "yes" (veja a figura abaixo). Relations que não formam features "multipolygon" não são consideradas no OSM2ArcGIS.<\/P><\/P><\/P><\/P>
A configuração<\/H1>A configuração do OSM2ArcGIS pode ser definida pelo usuário em dois arquivos de configuração baseados em JSON, agolconfig.json e osmconfig.json. O primeiro permite que a ferramenta estabeleça conexões com o portal ArcGIS Enterprise \/ Online. O último é usado para configurar solicitações ao servidor OpenStreetMap. A explicação de todos os atributos JSON e exemplos de configurações estão listados na tabela abaixo.<\/SPAN><\/P><\/P>Parâmetro<\/TH>Uso<\/TH>Exemplo<\/TH><\/TR><\/THEAD>"categories"<\/SPAN><\/TD>Controla a exportação de elementos do OpenStreetMap, para cada nova configuração com outra geometria ou chave OSM deve ser criada uma nova categoria dentro das seguintes 5 propriedades: <\/SPAN>

- A chave OSM desejada para a propriedade "categoryName". Valores múltiplos não são permitidos aqui. <\/SPAN>

- As tags OSM desejadas para a propriedade "categoryValue". Valores múltiplos entre colchetes. <\/SPAN>

- Os campos excluídos do serviço no ArcGIS Online para a propriedade "attributeFieldsToExclude". Valores múltiplos entre colchetes. <\/SPAN>

- O tipo de geometria, tipos válidos são "line", "point" ou "polygon". Valores múltiplos não são permitidos aqui. <\/SPAN>

- Defina a propriedade "isEnabled" como "yes" para ativar ou como "no" para desativar uma configuração. <\/SPAN>Configurações atualmente desnecessárias podem ser mantidas no arquivo de configuração.<\/SPAN><\/SPAN><\/TD>"categories" : <\/SPAN>
[ <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" :["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
         "geometryType" : "polygon", <\/SPAN>
         "isEnabled" : "yes" <\/SPAN>
     }, <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" : ["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
   &quot... (truncated due to length) ... para Python e então continua a verificar o configfile. Categorias e Tags disponíveis no OSM são baixadas de um banco de dados OSM e os valores definidos no configfile são comparados com os valores no banco de dados. O módulo termina todo o programa se os valores ou tags definidos no configfile não estiverem disponíveis no banco de dados OSM de tags/valores válidos, uma boundingbox inválida ou outros valores inválidos forem definidos dentro do configfile.<\/P><\/H2>OSMHelper<\/SPAN><\/H2>O módulo OSMHelper é projetado para configurar e controlar as requisições enviadas ao servidor OpenStreetMap usando o módulo estendido osm_runner. O módulo é configurado para otimizar a velocidade de processamento criando threads, para baixar simultaneamente dados do servidor OSM para as configurações no configfile.<\/P><\/H2>Osm_runner<\/SPAN><\/H2>O módulo Osm_runner foi originalmente desenvolvido por Jeffrey Scarmazzi e foi estendido para processar as entidades relation com o atributo multipolygon e o valor yes.<\/P><\/H2>Osm_runner_utils<\/SPAN><\/H2>Osm_runner_utils fornece configuras de configuraes usadas com o mdulo osm_runner. Detalhes sobre o formato da requisio do servidor OSM podem ser configurados, assim como o formato de saa para a resposta do servidor e filtros adicionais podem ser alterados modificando este mdulo.<\/P><\/H2>AGOLHelper<\/SPAN><\/H2>AGOLHelper espera um Esri SpatialDataFrame como objeto de entrada e realiza a criao de um servio de fei extbf{t}o dentro do portal do usu extbf{á}rio no ArcGIS Enterprise / Online e o envio dos dados para as configura extbf{ç} extbf{õ}es definidas para pelo menos uma camada para cada tipo de geometria definido em osmconfig.json. Os envios para o portal s extbf{ã}o realizados usando m extbf{ú}ltiplos peda extbf{ç}os de dados para evitar erros do servidor em grandes conjuntos de dados.<\/P><\/P>Conclus extbf{ã}o<\/H1>OSM2ArcGIS facilita a transfer extbf{ê}ncia de dados do OSM para um portal ArcGIS Enterprise / Online. Tudo que voc extbf{ê} precisa fazer extbf{é} configurar sua instala extbf{ç} extbf{ã}o python, configurar a ferramenta via os configfiles baseados em JSON e garantir que voc extbf{ê} tenha recebido pelo menos uma fun extbf{ç} extbf{ã}o de publisher pelo administrador do seu portal.<\/P>Se voc extbf{ê} tiver qualquer pergunta ou coment extbf{á}rio, sinta-se extbf{à} vontade para me contatar ou deixar um coment extbf{á}rio na se extbf{ç} extbf{ã}o de coment extbf{á}rios abaixo. <\/SPAN><\/P><\/P>O script est extbf{á} dispon extbf{í}vel para download no GitHub<\/A><\/SPAN><\/P>

Feliz processamento de dados, Lukas <\/SPAN><\/P>(E-Mail:

lukas.bug@aol.de<\/A>)<\/P><\/BODY><\/HTML>