Aqui estão meus dados do assunto, os dados de parcelas do Estado de New Jersey (~3,5 milhões de feições, 4,4 GB com 45 campos), com agradecimentos à equipe técnica de NJ pela ajuda na montagem deste exemplo.
Vou explicar em breve por que uma parcela está destacada...
Primeiro, com referência ao título da postagem, esta discussão não está vinculada ao ArcGIS Online, você pode estar trabalhando com ArcGIS Enterprise e implementar este fluxo de trabalho, então fique comigo. O desafio de manter uma camada de feição hospedada de big data é comum.
O problema que estamos tentando resolver aqui é aplicar uma atualização de dados a um serviço ativo quando a transação de atualização é muito grande, no nosso caso dezenas de milhares de edições de parcelas são gravadas várias vezes por ano, as feições podem ser ricas em pontos e o esquema é amplo. Se você sobrescrever o serviço usando a interface do usuário principal do ArcGIS Pro, isso consome uma sessão por muito tempo, então vamos criar uma automação mais eficiente usando ArcGIS Data Interoperability e escrever apenas a transação delta.
Para ser específico, o modo de gravação changeset recomendado para transações maiores é upsert. Isso requer que o serviço de feição alvo tenha um campo chave com restrição única, o que os dados do assunto possuem. Upserts são enviados em blocos de 10 MB em vez de conjuntos de feições com contagem máxima de linhas suportada pelo serviço (2000 para dados poligonais).
Manter serviços de feição hospedados aplicando uma transação delta como edições é um caminho bem trilhado, a detecção de mudanças no ArcGIS Data Interoperability é ideal para isso. No entanto, há algumas coisas a observar aqui:
- Os dados recebidos para a atualização estão no formato file geodatabase
- O espaço de trabalho alvo é um serviço de feição hospedado
- Os conjuntos de dados não estão co-localizados
Isto implica alguns problemas:
- Transmitir os dados da camada de feição hospedada localmente para calcular o changeset levaria muito tempo
- Campos de geometria, data e numéricos precisam ter sua precisão em acordo para detecção correta das mudanças
- Diferenças sutis nos valores exigem manuseio cuidadoso
Problemas com acordo de precisão podem ser resolvidos com configuração da ferramenta ETL, mas para evitar o problema completamente a abordagem que adotaremos é baixar o serviço de feição alvo como seu próprio file geodatabase, assim diferenças dependentes do armazenamento na precisão não serão um fator. Então o changeset pode ser facilmente calculado localmente entre duas classes de feição file geodatabase e o delta escrito eficientemente.
Aqui entra a parcela destacada no mapa. Parcelas podem ter geometria complexa, limites podem ter múltiplos segmentos, e segmentos podem ser true curves. Embora armazenar true curves em camadas de feição hospedadas seja suportado, editá-las é restrito. Veja aqui algumas propriedades relevantes do meu serviço de feição alvo:
{"allowGeometryUpdates" : true,
"supportsTrueCurve" : true,
"supportedCurveTypes" : ["esriGeometryCircularArc"],
"allowTrueCurvesUpdates" : true,
"onlyAllowTrueCurveUpdatesByTrueCurveClients" : true}O que você pode entender disso é que embora alguma edição de true curve seja teoricamente possível, quaisquer curvas do tipo esriGeometryEllipticArc não são suportadas para edição, e adivinhe só, um buraco circular em forma de rosquinha numa parcela tem geometria elíptica. Além disso, nosso cliente da ferramenta ETL não é conhecido como um cliente true curve.
Se você estiver usando uma versão do ArcGIS Data Interoperability que não suporta o escritor Esri ArcGIS Feature Service será necessário usar as ferramentas administrativas do serviço para definir onlyAllowTrueCurveUpdatesByTrueCurveClients como false.
Uma maneira simples de gerenciar true curves é convertê-las em polilinhas (stroke) ao fazer comparações geométricas ou ao escrevê-las no serviço de feição usando o transformador ArcStroker, com controle sobre a máxima distância permitida da curva verdadeira. Isso substitui quaisquer segmentos em arco por polilinhas, temporariamente para comparação geométrica e permanentemente para qualquer parcela escrita que tenha sido atualizada ou seja nova.
Aqui estão algumas visualizações do espaço de trabalho que faz todo o trabalho, primeiro a vista Main...
...depois o transformador personalizado verde claro looping custom transformer que espera a conclusão da exportação do file geodatabase...
A exportação do file geodatabase leva um tempo variável, dependendo da carga do ArcGIS Online. Executei a ferramenta em um horário agendado que foi às 3h UTC, levou 23 minutos para a exportação. Já vi levar 10 minutos ou uma hora, mas também já vi falhas ao testar em horários movimentados para o ArcGIS Online. Recomenda-se agendar a ferramenta para rodar fora dos horários movimentados na América do Norte e Europa, então usei 3h UTC.
Para aplicar "defensive coding", logo antes e novamente dentro do transformador looping que espera pela conclusão da exportação há alguns transformadores Emailer que enviam detalhes da submissão do trabalho e detalhes da falha do trabalho, caso ocorra. O suporte Esri precisará tanto das informações do trabalho quanto das falhas para solucionar problemas no comportamento do seu serviço em caso de erro. Por favor, abra um chamado se tiver algum problema.
Aqui está um exemplo do corpo do email com detalhes do trabalho:
Serviço de feição:
https://services.arcgis.com/FQD0rKU8X5sAQfh8/arcgis/rest/services/NJParcels/FeatureServer
Tarefa de exportação do serviço:
9f77069e-e212-46bb-8696-b7ce4f54c882::FQD0rKU8X5sAQfh8
ID do item do serviço:
4480efce4518473096613597d461e55f
ID do item exportado:
1fc913da28174608b9a65859bcc8b9b0
Iniciado no horário local:
2026-01-26T07:03:23.5436242-08:00
Tipo é arquivo e tamanho é 4823392256
Aqui está como uma mensagem de falha na exportação aparece (a tradução será encerrada):
Tarefa de exportação do serviço falhou com status failed
A falha ocorreu no horário local 2026-01-26T09:05:01.0944432-08:00
ID da tarefa foi 9f77069e-e212-46bb-8696-b7ce4f54c882::FQD0rKU8X5sAQfh8
A resposta da solicitação status foi
{"status": "failed","statusMessage": "failed","itemId": "4480efce4518473096613597d461e55f"}
O espaço de trabalho está disponível para download no blog, você precisará editá-lo com suas credenciais ArcGIS Online, detalhes do serviço de feição e parâmetros dos transformadores Emailer.
Por favor, comentem neste fórum suas experiências e dúvidas!
