Na semana em que escrevo, é a semana da conferência para o Esri Developer & Technology Summit 2026 e acabei de voltar de apresentar minha sessão técnica Explorando Ferramentas e Padrões para Migração de Dados.<\/P>
Gosto de fazer muitas demonstrações nas apresentações de eventos, isso me permite gerar conteúdo que posso compartilhar. Aqui está uma visão rápida de parte da ação ao vivo - ETL via ferramenta de script do tema Overture Maps Foundation Places pontos de interesse trazidos para a área de trabalho de memória do ArcGIS Pro como uma camada base de pontos (os pontos verdes) e categorias relacionadas (com cardinalidade 1:M) em uma visualização de tabela como meu produto de informação de saída, 64 milhões de pontos consultados a partir de arquivos GeoParquet no AWS S3 com interação no mapa para definir uma área de interesse.<\/P>
ETL com entrada do mapa<\/span><\/span><\/P>Aqui eu identifico alguns dos pontos, veja as categorias alternativas acessadas pela relação do mapa.<\/P>
Categorias de Locais<\/span><\/span><\/P>Estou me adiantando, então vamos voltar um pouco. Idealmente eu poderia compartilhar um pacote de projeto com documentos anexados, mas a ferramenta geoprocessamento relevante deu erro para mim por um problema de validação, então vou apenas compartilhar ferramentas, documentos e dados mínimos nos anexos da postagem.<\/P>Aqui está o conteúdo relevante, sobre o qual falarei na ordem mostrada no painel Catálogo.<\/P>
Conteúdo Relevante<\/span><\/span><\/P>O conjunto de ferramentas Using Data Interoperability contém duas ferramentas Spatial ETL que incorporam um processo em 2 etapas para manter um produto de informação do serviço hospedado em ArcGIS Online. Primeiro crie objetos geodatabase com o modelo de dados, relacionamentos e esquema desejados, adicione-os a um mapa e defina simbologia, comportamento do popup e metadados, publique a camada como um serviço hospedado, depois em segundo lugar atualize este produto de informação sob demanda.<\/P>Não demonstrado no dia, mas algo que sei que é procurado é um modelo ModelBuilder FeatureSetInput, ou seja, como construir interação no mapa dentro de uma ferramenta Spatial ETL do ArcGIS Data Interoperability. Aqui está:<\/P>
Modelo FeatureSetInput<\/span><\/span><\/P>O modelo não aparece como validado (ele valida em tempo de execução), mas o processamento funciona assim: Uma variável do modelo do tipo FeatureSet é um parâmetro de entrada, filtrada para ser polígono. Isso significa que em tempo de execução você pode escolher uma camada poligonal ou criar novas feições da área de interesse no seu mapa. A ferramenta principal Features to JSON é então usada para escrever um arquivo EsriJSON na pasta temporária do projeto como dado intermediário. O caminho deste arquivo é então um parâmetro de entrada esperado pela ferramenta Spatial ETL DoSomethingWithEsriJSON, que assume daí para fazer o que você quiser. Este comportamento é frequentemente desejado para ferramentas web.<\/P>Aqui está uma visão do log da ferramenta enquanto ela roda, mostrando que o polígono do mapa foi lido na área de trabalho.<\/P>
Detalhes em tempo real do FeatureSetInput<\/span><\/span><\/P>Agora para o conjunto de ferramentas Using ModelBuilder. O modelo EVPopulationGeocoded mostra a leitura de um arquivo CSV local com a ferramenta principal Export Table para impor um esquema desejado, além de como geocodificar valores únicos de CEP para fornecer geometria a todas as linhas e juntar essa geometria à tabela base. O esquema desejado é ajustado para se adequar aos dados, a ferramenta script ReportMaximumTextDataWidth ajuda com inspeção profunda dos requisitos da largura dos campos, mas no dia também mostrei usando Notepad++ e Pro para ajudar na descoberta de problemas, como nulls codificados como zero, strings vazias e valores vazios de geometria.<\/P>
EVPopulationGeocoded<\/span><\/span><\/P>A seguir foi o URL2EVPopulation, que mostrou como dá um impulso ao ModelBuilder com um pouco de Python para recuperar os dados CSV fonte a partir de uma URL, onde eles vivem em um catálogo aberto de dados, este foi um recurso popular.<\/P>
URL2EVPopulation<\/span><\/span><\/P>O submodelo EVPopulation mostrou uma abordagem alternativa para criação da geometria, ou seja, a capacidade do ArcPy para converter OGC Well Known Text em geometria Esri. A ferramenta principal Convert Coordinate Geometry não suporta WKT.<\/P>
EVPopulation<\/span><\/span><\/P>O conjunto de ferramentas Using Script Tools tem a ferramenta script GeneratePlaces, que cria a camada Places e a visualização da tabela relacionada Place Categories mostradas acima. Isso mostra como adicionar interação no mapa às suas ferramentas ETL, e introduz o DuckDB como tanto um banco SQL-aware quanto um cliente poderoso para integração com dados locais ou remotos. Você pode executar consultas SQL em qualquer tipo de dado suportado pelo DuckDB, até mesmo CSV.<\/P>Isto me leva aos Notebooks como opção de integração. Demonstrei o ImportPlacesByDivisionArea, que usou uma cláusula SQL where definindo uma área de interesse nomeando feições das Overture Divisions, que compõem a área. Para ajudar a descobrir quais nomes as áreas precisam ter, o notebook ImportCurrentDivisionAreas está incluído nos downloads da postagem. Isto baixa todas as áreas das Overture Divisions mundialmente.<\/P>ImportPlacesByDivisionArea vai além da ferramenta script GeneratePlaces em termos de fazer um produto informacional. Ele adiciona metadados à saída mas mais importante mantém um localizador geocodificador "Places_Locator", do tipo POI usando os dados mais recentes. Uma cópia do localizador está anexada - veja como ele suporta filtragem por categoria digitando "hotel" no painel Locate no Pro - você verá todos os hotéis em Palm Springs como candidatos! Programadores aí não esqueçam que localizadores em um caminho podem ser usados programaticamente pelo arcpy.geocoding para fazer coisas como reparar geometria nula em ferramentas script, você não precisa levantar um serviço geocode para processamento baseado em linhas.<\/p>Nao mostrado no dia mas nos downloads há uma caixa de ferramentas chamada QuickImportToMemory contendo a ferramenta QuickImportToMemory que faz exatamente o que sugere usando o ArcGIS Data Interoperability - ele permite você faz inspeção de dados no Pro a partir de qualquer fonte de dados suportada. Você pode conhecer seus dados antes de se comprometer com uma abordagem ETL.
Ferramentas Al construídas com ArcGIS Pro 3.6.
Comente na publicação com suas observações.
