Nova Ferramenta para Analisar o Desempenho da Regra de Atributo com ArcGIS Data Reviewer

Jaspar_Saadi-Klein

Por que esta ferramenta foi criada

Compreender o desempenho das regras de atributo baseadas no ArcGIS Data Reviewer no ArcGIS Server pode ser desafiador, especialmente ao avaliar grandes volumes de dados. Esta ferramenta foi desenvolvida em resposta a uma série de atendimentos de solução de problemas onde os usuários tentavam entender onde o tempo está realmente sendo gasto durante a avaliação da regra de atributo de validação. Ao ajudar os usuários a analisar e detalhar o tempo para a execução da regra de atributo do Data Reviewer, a ferramenta oferece maior visibilidade sobre o desempenho da regra de validação, facilitando a identificação de gargalos, solução de problemas e otimização dos fluxos de trabalho empresariais.

Como usar a ferramenta

Complete os seguintes passos para executar a ferramenta analisadora de logs:

1. Defina o nível de log do seu ArcGIS Server para Debug. Siga estas instruções para especificar as configurações de log do servidor no ArcGIS Server Manager.
2. Avalie suas regras de atributo
   1. Desde que existam regras de atributo de validação baseadas no Data Reviewer criadas em seus dados, devem existir mensagens de log que esta ferramenta pode analisar.
3. Localize a pasta na máquina do ArcGIS Server onde os logs do serviço são armazenados. Existem dois locais onde os logs são armazenados dependendo se você avaliou suas regras de atributo de validação sincronamente ou assincronamente. 
   1. Os logs do servidor para avaliações síncronas estão localizados em logs > nome da máquina > services > nome do serviço.MapServer
      1.        Windows: C:\arcgisserver\logs\<nome da máquina>\services\<nome do serviço>.MapServer
      2.         Linux: <diretório de instalação do ArcGIS Server>/logs/<nome da máquina>/services/<nome do serviço>.MapServer
   2. Os logs do servidor para avaliações assíncronas estão localizados em logs > nome da máquina > services > System > ValidationTools.GPServer
      1.        Windows: C:\arcgisserver\logs\<nome da máquina>\services\System\ValidationTools.GPServer
      2.         Linux: <diretório de instalação do ArcGIS Server>/logs/<nome da máquina>/services/System/ValidationTools.GPServer
4. Execute a ferramenta no ArcGIS Pro ou pelo terminal.
   1. Para executar a ferramenta no ArcGIS Pro
      1. Salve o arquivo ReviewerLogParser.pyt em um local conhecido
      2. Copie todos os logs do servidor para a máquina com ArcGIS Pro
      3. Abra o ArcGIS Pro e adicione a caixa de ferramentas a um projeto
      4. Abra a ferramenta Reviewer Log Parser
      5. No parâmetro Pasta de Log, navegue até a pasta contendo os logs do servidor e clique em OK
      6. Especifique onde colocar a saída excel analisada
      7. Execute a ferramenta

         

          

   2. Para executar a ferramenta no terminal via shell interativo python na máquina do servidor com os logs:
      1. Salve o arquivo ReviewerLogParser.pyt em um local conhecido na máquina do servidor
      2. Identifique o local dos logs do servidor
      3. Inicie o shell python interativo vinculado ao ArcGIS Enterprise
         1. No Windows normalmente é "C:\Program Files\ArcGIS\Server\framework\runtime\ArcGIS\bin\Python\envs\arcgispro-py3\python"
         2. No Linux normalmente é <localização da instalação do ArcGIS Server>/arcgis/server/tools/python
      4. Importe arcpy
      5. Importe a caixa de ferramentas
         1. arcpy.ImportToolbox(caminho/para/ReviewerLogParser.pyt)
      6. Execute a ferramenta
         1. arcpy.ReviewerLogParser_datareviewer(log_folder="/caminho/para/pasta/de/log",output_excel="/saida/excel/parsed_output.xlsx")
      7. Copie os arquivos .xlsx e .csv gerados para uma máquina que tenha Microsoft Excel (ou um visualizador Excel) instalado e visualize os resultados.

 

Como a ferramenta funciona

Em um nível geral, toda avaliação consiste em três fases: leitura, validação e escrita. A leitura inclui o tempo gasto sincronizando as feições do geodatabase nas tabelas temporárias SQLite preparando-as para processamento. A validação engloba a execução das regras de atributo do Data Reviewer. A escrita representa as tarefas necessárias para atualizar o geodatabase com os resultados, como registrar novos erros, atualizar erros corrigidos, atualizar erros existentes e atualizar o campo status da validação.

 

Quando as regras de atributo baseadas no Data Reviewer são avaliadas, o ArcGIS Server utiliza várias otimizações para processar as regras mais eficientemente. Uma dessas otimizações é a criação de um banco de dados SQLite temporário que contém apenas aquelas feições e campos necessários para a avaliação, permitindo que múltiplas regras de atributo do Data Reviewer na mesma avaliação usem os mesmos dados em cache. Avaliações similares também podem ser combinadas para melhorar a eficiência geral do processamento.

O Reviewer Log Parser ajuda a determinar onde o tempo está sendo gasto durante o processo de avaliação. Ele lê arquivos de log do ArcGIS Server de uma pasta selecionada e procura por mensagens de validação do Data Reviewer escritas pelo método ReviewerUtilities. A ferramenta então agrupa mensagens relacionadas por ID da requisição, permitindo que cada validação seja analisada separadamente. Para cada mensagem de log, a ferramenta captura o texto da mensagem, timestamp, tempo decorrido, arquivo fonte do log e número da linha. Também calcula um timestamp Unix para suportar ordenação cronológica e análise posterior.

Para apoiar uma conscientização geral e uma solução mais profunda dos problemas, a ferramenta produz duas saídas. A primeira é um arquivo CSV que contém detalhes da saída de cada mensagem de log conforme descrito acima. A segunda é uma planilha Excel que resume cada execução da validação em um formato mais legível. A planilha abre com uma aba README que explica as suposições do relatório, seguida por uma aba por ID da requisição (nomeada usando os primeiros 31 caracteres do ID da requisição). Cada aba lista as operações analisadas, descreve o que cada operação representa, divide o tempo decorrido em Leitura, Validação e Escrita em segundos e inclui totais das fases formatados como horas, minutos e segundos.

Nota: Ao construir as abas das execuções, o parser tenta evitar contagem dupla do tempo de sincronização. Se uma operação de sincronização ocorrer durante uma operação de validação, a ferramenta subtrai esse tempo de sincronização do total da validação e reporta separadamente como Tempo de Leitura.

Se você precisar de detalhes adicionais, a saída CSV permite rastrear uma operação resumida até a mensagem original no log. Comece pelo nome da aba, que é baseado nos primeiros 31 caracteres do ID da requisição. Depois abra o CSV, encontre o ID correspondente e compare o texto da operação na planilha com o campo mensagem no CSV. Como o CSV também inclui o caminho fonte do log e número da linha, você pode usá-lo para localizar a mensagem original no arquivo log do ArcGIS Server.

Limitações conhecidas e expectativas ao executar a ferramenta

Com esta ferramenta vêm alguns itens importantes para estar ciente. São eles:

1.  A ferramenta analisa apenas aquelas mensagens (ReviewerUtilities) criadas quando regras baseadas no Reviewer são avaliadas. Existem mensagens adicionais (tanto Reviewer quanto não Reviewer) relacionadas ao processo de validação sendo gerados que não são capturados por esta ferramenta.<\/LI>
2. A ferramenta não analisa regras de atributo de validação baseadas em Arcade.
   1. Consulte Solução de problemas do comportamento da regra de atributo com ArcGIS Diagnostic Monitor e arquivos de log do ArcGIS Enterprise Server<\/A> para saber mais sobre como solucionar problemas de regras de atributo baseadas em Arcade.<\/LI><\/OL><\/LI>A versão atual desta ferramenta não captura mensagens de erro como timeouts ou logs relacionados a fonte de dados ausente.
      1. Para rastrear esses problemas, pode ser necessário começar pelo excel, verificar onde não há entradas ou as entradas estão zeradas, rastrear isso até o csv (que inclui o log e a linha) e então examinar o log bruto ao redor dessa mensagem para ver especificamente o que está acontecendo.<\/LI><\/OL><\/LI>
      2. Ao examinar o tempo de validação, tipos específicos de verificação do Data Reviewer são listados apenas uma vez, mesmo que haja múltiplas instâncias dessa verificação sendo avaliadas.<\/LI>
      3. Ao examinar o tempo de validação, espera-se que algumas verificações levem mais tempo para serem concluídas devido à sua complexidade diferente ou ao número de feições nas quais estão sendo executadas. Por exemplo, regras baseadas na verificação
      Valency<\/A> são mais intensivas em tempo quando comparadas a outras verificações devido à complexidade das relações espaciais sob avaliação.<\/LI>Ao avaliar regras de atributo, o tempo total de avaliação da regra é tão rápido quanto a regra mais lenta. Isso é especialmente importante ao usar uma mistura de regras de atributo Arcade e Data Reviewer<\/LI><\/OL>

      Feedback bem-vindo<\/H3>Esta é a primeira versão da ferramenta, e agradecemos seu feedback. Quer você esteja usando-a para solucionar problemas de desempenho ou apenas para entender melhor o comportamento da validação, gostaríamos de ouvir sua experiência. Feedback, ideias de aprimoramento e relatórios de bugs ajudarão a orientar melhorias futuras e tornar as ferramentas ainda mais valiosas.<\/P>