Novas Ferramentas para Avaliar Grandes Conjuntos de Dados com ArcGIS Data Reviewer

Jaspar_Saadi-Klein

IMPORTANTE: Por favor, esteja ciente de que as ferramentas mostradas neste blog estão em desenvolvimento e teste ativos. Elas estão em andamento e agradecemos qualquer feedback, melhorias e relatos de problemas enquanto você utiliza as ferramentas.<\/P>

Por que essas ferramentas foram criadas<\/H3>É uma prática comum avaliar cada feição em um conjunto de dados para estabelecer uma compreensão básica de sua qualidade, especialmente para determinar se um novo conjunto de dados é adequado para um projeto ou se o entregável de dados de um fornecedor atende aos requisitos contratuais de qualidade. As ferramentas Create Evaluation Grids e Evaluate Rules by Grid foram desenvolvidas para enfrentar os desafios associados à avaliação da qualidade de conjuntos de dados muito grandes contendo milhões de feições. Nesses cenários, uma abordagem baseada em extensão pode ajudar a suportar esse tipo de avaliação rigorosa e em grande escala da qualidade das feições, dividindo a avaliação em subconjuntos mais gerenciáveis.<\/P>O que essas ferramentas fazem<\/H3><\/span><\/P>Essas ferramentas dividem a avaliação das regras de atributo em extensões menores e mais gerenciáveis. Conceitualmente, é semelhante a escolher avaliar regras na extensão visível no ArcGIS Pro. Nos bastidores, uma extensão é passada para a ferramenta geoprocessing Evaluate Rules e a avaliação ocorre apenas nas feições dentro dessa extensão. Em vez de avaliar um conjunto de dados inteiro de uma vez, essas ferramentas dividem o conjunto de dados em uma coleção de extensões menores e avaliam cada uma individualmente. Isso permite que grandes conjuntos de dados sejam processados incrementalmente enquanto ainda garante que todas as regras sejam avaliadas em todo o conjunto de dados.<\/P>Como as grades de avaliação são criadas<\/H3>A ferramenta Create Evaluation Grids gera as extensões que serão usadas durante a avaliação.<\/P>Para criar essas extensões, a ferramenta utiliza a ferramenta geoprocessing Create Cartographic Partitions<\/A>. Essa ferramenta cria polígonos de saída baseados na densidade e distribuição das feições, permitindo que a carga de trabalho da avaliação seja dividida em áreas mais gerenciáveis.<\/P>

O parâmetro Maximum Features Per Grid é usado para estabelecer um limite máximo para o número de feições que podem ser incluídas dentro de uma determinada extensão de avaliação. Uma ou mais classes de feição podem ser especificadas como entradas, e a contagem total de feições em todas as classes selecionadas é usada ao determinar os limites da partição. Como resultado, áreas com maior densidade de feições produzem polígonos menores na grade, enquanto áreas menos densas produzem polígonos maiores.<\/P>

Quando a ferramenta termina, ela adiciona um campo Evaluation Required e campos com informações da extensão às partições geradas, aplica simbologia e adiciona a camada resultante ao mapa ativo.<\/P>

<\/span><\/P>A camada resultante da grade torna-se a entrada para a ferramenta Evaluate Rules By Grid.<\/P>

Como a avaliação é realizada<\/H3>A ferramenta Evaluate Rules By Grid usa a grade de avaliação gerada para avaliar as regras de atributo um polígono da grade por vez.<\/P>Para cada polígono da grade, a ferramenta extrai a extensão e passa essa extensão para a ferramenta geoprocessing Evaluate Rules<\/A> ou para o Evaluate REST API<\/A>. A avaliação é então realizada contra todas as classes de feição e regras de atributo nessa extensão antes de passar para o próximo polígono da grade. Esse processo continua até que todos os polígonos da grade tenham sido processados.<\/P>

Enquanto a ferramenta está em execução, uma mensagem do geoprocessing é adicionada após cada polígono da grade ser avaliado, indicando se o polígono foi processado ou ignorado. Isso facilita o acompanhamento do progresso durante avaliações longas.<\/P>

<\/span><\/P>

Entendendo o campo Evaluation Required<\/H3>O campo Evaluation Required existe exclusivamente para acompanhar o progresso do processamento da grade.<\/P>Após um polígono da grade ter sido avaliado com sucesso, a ferramenta atualiza esse campo para indicar que o polígono não requer mais processamento. Isso permite que a avaliação seja retomada do ponto onde parou caso a execução seja interrompida devido a um tempo limite ou problema inesperado.<\/P>Quando a ferramenta é executada novamente com o parâmetro Skip Already Evaluated Grids ativado, os polígonos da grade que já foram processados são ignorados e a avaliação continua com os polígonos restantes.<\/P>É importante notar que o campo Evaluation Required não<\/STRONG> indica se as feições requerem validação.<\/P>Informações sobre se uma feição requer validação são mantidas separadamente através do campo Validation Status de cada classe de feição. O Validation Status é atualizado quando as feições são modificadas ou quando regras de atributo de validação são adicionadas ou alteradas. O campo Evaluation Required apenas acompanha se um polígono específico da grade ainda precisa ser processado pelo fluxo Evaluate Rules By Grid.<\/P>Como usar as ferramentas<\/H3>Primeiro, execute a ferramenta Create Evaluation Grids para criar a grade que será usada pela ferramenta Evaluate Rules By Grid. Para isso, siga os passos abaixo:<\/P>No ArcGIS Pro, adicione todas as camadas de feição que contenham regras de atributo de validação ao mapa<\/LI>Adicione a caixa de ferramentas GridEvaluation.pyt ao projeto<\/LI>Clique em Create Evaluation Grids<\/LI>Para Input Features, selecione as camadas que contêm regras de atributo de validação<\/LI>Defina o parâmetro Maximum Features Per Grid<\/LI>Defina o local de saídaAs saídas podem ser colocadas em geodatabases file, mobile ou enterprise.<\/LI>A saída estará em WGS 1984, portanto se for colocada em um dataset espacial, este deve estar em WGS 1984.<\/LI><\/OL><\/LI>Execute a ferramenta<\/LI><\/OL><\/span><\/P> <\/P>Em seguida, execute a ferramenta Evaluate Rules By Grid<\/P>Abra a ferramenta e para Evaluation Grid selecione a saída da grade gerada pela execução do Create Evaluation Grids<\/LI>Mantenha marcada a opção Skip Already Evaluated Grids<\/LI>Para Workspace to Evaluate selecione o arquivo, mobile ou serviço feature service onde deseja avaliar as regras de atributoSe o workspace for uma URL feature service, parâmetros adicionais aparecerãoPreencha Portal URL, Portal Username e Portal Password do usuário enterprise que executará a avaliação.<\/LI>Especifique a versão na qual executar a avaliação.Observe que este campo será preenchido automaticamente com uma lista suspensa das versões disponíveis assim que as informações do portal forem especificadas. Isso pode levar um minuto.<\/LI>Defina o Evaluation Type<\/LI>Execute a ferramentaEnquanto a ferramenta estiver executando você pode visualizar as mensagens. Isso indicará quais polígonos da grade foram avaliados e quais foram ignorados (se houver).<\/LI> < /span>   Itens importantes

1. É preferível avaliar sem usar essas ferramentas quando possível. Se você conseguir aumentar os tempos limite do serviço para seu feature service e realizar ajustes no banco de dados, será mais rápido fazer uma única execução da avaliação do que muitas avaliações menores como essas ferramentas fazem. Use essas ferramentas somente ao avaliar grandes conjuntos com muitos milhões de registros depois que todas as outras opções forem esgotadas.
2. Você pode reutilizar a mesma grade e não precisa executar novamente Create Evaluation Grids desmarcando \u201cSkip Already Evaluated Grids\u201d ou redefinindo manualmente o campo Evaluation Required para No (0).