No momento da escrita, é a semana após a Conferência Internacional de Usuários Esri 2025, e ao destacar os tópicos ArcGIS Data Interoperability e ETL Patterns na vitrine da Esri durante toda a semana, posso relatar que o maior interesse para o fluxo de dados de entrada foi em manter hosted feature services a partir de dados externos. Este post mostrará uma técnica sobre a qual já escrevi antes, mas com uma atualização importante, como fazer a detecção de mudanças em massa da forma mais eficiente, então continue lendo.<\/P>
Aqui está meu dado de assunto, endereços de ruas para a Cidade de Los Angeles, que gentilmente disponibiliza os dados em seu site de dados abertos. Os dados dos endereços são mantidos diariamente.<\/P>
Beverly Hills não fica em Los Angeles<\/span><\/span><\/P>Estratégias de integração de dados incluem uma variedade de abordagens, e geralmente existem múltiplas "respostas corretas", uma boa visão geral pode ser obtida assistindo a uma apresentação dos meus colegas da Esri no início deste ano. No caso dos meus dados de assunto, todas as opções discutidas na apresentação (ArcGIS ModelBuilder, scripts python, notebooks python, ArcGIS Data Pipelines e ArcGIS Data Interoperability) são abordagens válidas.<\/P>Mas este é o espaço da comunidade Data Interoperability, então com foco nessa opção tenho uma dica de processamento para você. Você ouvirá na apresentação vinculada acima que manter um hosted feature service é muito comum, e minimizar o tempo de inatividade durante esse processo é importante. Uma maneira é manter dois hosted feature services, editar um por vez e fazer uma troca da fonte entre eles. Se estiver usando ArcGIS Data Interoperability, entretanto, você tem outra opção disponível, o transformador ChangeDetector, que pode derivar muito rapidamente uma transação que inclui apenas registros adicionados, atualizados ou excluídos, quase sempre uma transação muito eficiente.<\/P>O truque, porém, é levar os dados em massa existentes e novos para o transformador para que ele possa calcular a transação delta! Esta é a forma como recomendo fazer isso:<\/P>
Usando uma conexão web para impulsionar a mudança<\/span><\/span><\/P>A fonte do workspace ETL FMW está no download do post.<\/P>Não há como escapar de recuperar novos dados recebidos por download, mas você pode evitar streaming no estado atual do hosted feature service (que é comparativamente lento) solicitando ao portal que gere uma exportação em file geodatabase e baixando isso. A chamada do trabalho de exportação requer um token, que é difícil de gerar se sua organização for como a minha e aplicar multi-factor authentication (MFA). O truque é usar autenticação de serviço web nos transformadores HTTPCaller que iniciam o trabalho de exportação e verificam o status do trabalho no transformador personalizado em loop que espera pela conclusão do trabalho de exportação. A autenticação do serviço web fornece um token nos bastidores para que você não precise fornecê-lo como parâmetro URL HTTP. Esse é o truque central por trás desta abordagem.<\/STRONG><\/P>Você verá pela imagem do workspace acima que uma transação diária de mudança para os endereços de Los Angeles é uma transação pequena no final de alguns minutos gastos lendo os dados. O arquivo de log (não mostrado) me informa que 67 features participaram da transação, que levou 0,5s.<\/P>
