Nueva herramienta para analizar el rendimiento de reglas de atributos con ArcGIS Data Reviewer

Jaspar_Saadi-Klein

Por qué se creó esta herramienta

Comprender el rendimiento de las reglas de atributos basadas en ArcGIS Data Reviewer en ArcGIS Server puede ser un desafío, especialmente al evaluar grandes volúmenes de datos. Esta herramienta fue desarrollada en respuesta a una serie de compromisos de solución de problemas con usuarios que intentaban entender dónde se está gastando realmente el tiempo durante la evaluación de validation attribute rule. Al ayudar a los usuarios a analizar y desglosar el tiempo para la ejecución de reglas de atributos de Data Reviewer, la herramienta proporciona una mayor visibilidad del rendimiento de las reglas de validación, facilitando la identificación de cuellos de botella, la solución de problemas y la optimización de los flujos de trabajo empresariales.

Cómo usar la herramienta

Complete los siguientes pasos para ejecutar la herramienta log parser:

1. Configure el nivel de registro (log level) de su ArcGIS Server en Debug. Siga estas instrucciones para especificar la configuración del registro del servidor en ArcGIS Server Manager.
2. Evalúe sus reglas de atributos
   1. Mientras existan reglas de atributos de validación basadas en Data Reviewer creadas en sus datos, debería haber mensajes de registro que esta herramienta pueda analizar.
3. Ubique la carpeta en la máquina del ArcGIS Server donde se almacenan los registros del servicio. Hay dos ubicaciones donde se almacenan los registros dependiendo si evaluó sus reglas de atributos de validación síncronamente o asíncronamente. 
   1. Los registros del servidor para evaluaciones síncronas están ubicados en logs > machine name > services > service name.MapServer
      1.        Windows: C:\arcgisserver\logs\<machine name>\services\<service name>.MapServer
      2.         Linux: <ArcGIS Server installation directory>/logs/<machine name>/services/<service name>.MapServer
   2. Los registros del servidor para evaluaciones asíncronas están ubicados en logs > machine name > services > System > ValidationTools.GPServer
      1.        Windows: C:\arcgisserver\logs\<machine name>\services\System\ValidationTools.GPServer
      2.         Linux: <ArcGIS Server installation directory>/logs/<machine name>/services/System/ValidationTools.GPServer
4. Ejecute la herramienta en ArcGIS Pro o desde el terminal.
   1. Para ejecutar la herramienta en ArcGIS Pro
      1. Guarde el archivo ReviewerLogParser.pyt en una ubicación conocida
      2. Copie todos los registros del servidor a la máquina con ArcGIS Pro
      3. Abra ArcGIS Pro y agregue la caja de herramientas a un proyecto
      4. Abra la herramienta Reviewer Log Parser
      5. Para el parámetro Log Folder, navegue hasta la carpeta que contiene los registros del servidor y haga clic en OK
      6. Especifique dónde colocar la salida parseada en Excel
      7. Ejecución de la herramienta

         

          

   2. Para ejecutar la herramienta en el terminal mediante el shell interactivo python en la máquina del servidor con los registros:
      1. Guarde el archivo ReviewerLogParser.pyt en una ubicación conocida en la máquina del servidor
      2. Identifique la ubicación del registro del servidor
      3. Inicie el shell interactivo python vinculado a ArcGIS Enterprise
         1. Para Windows típicamente es "C:\Program Files\ArcGIS\Server\framework\runtime\ArcGIS\bin\Python\envs\arcgispro-py3\python"
         2. Para Linux típicamente es <ArcGIS Server installation location>/arcgis/server/tools/python
      4. Importe arcpy
      5. Importe la caja de herramientas
         1. arcpy.ImportToolbox(path/to/ReviewerLogParser.pyt)
      6. Ejecución de la herramienta
         1. arcpy.ReviewerLogParser_datareviewer(log_folder="/path/to/log/folder",output_excel="/output/excel/parsed_output.xlsx")
      7. Copia el archivo .xlsx y .csv resultante a una máquina que tenga Microsoft Excel (o un visor Excel) instalado y visualice los resultados.

 

Cómo funciona la herramienta

A un nivel alto, cada evaluación consta de tres fases: lectura, validación y escritura. La lectura incluye el tiempo dedicado a sincronizar las entidades geodatabase en las tablas temporales SQLite preparándolas para el procesamiento. La validación abarca la ejecución de las reglas de atributos Data Reviewer. La escritura representa las tareas necesarias para actualizar la geodatabase con resultados, como registrar nuevos errores, actualizar errores corregidos, actualizar errores existentes y actualizar el campo estado de validación.

 

Cuando se evalúan las reglas de atributos basadas en Data Reviewer, ArcGIS Server utiliza varias optimizaciones para procesar las reglas más eficientemente. Una de estas optimizaciones es la creación de una base de datos SQLite temporal que contiene solo aquellas entidades y campos necesarios para la evaluación, permitiendo que múltiples reglas Data Reviewer dentro de la misma evaluación usen los mismos datos almacenados en caché. Evaluaciones similares también pueden combinarse para mejorar la eficiencia general del procesamiento.

El Reviewer Log Parser ayuda a determinar dónde se está gastando tiempo durante el proceso de evaluación. Lee archivos log (registros) de ArcGIS Server desde una carpeta seleccionada y busca mensajes de validación Data Reviewer escritos por el método ReviewerUtilities. Luego agrupa mensajes relacionados por ID de solicitud, permitiendo que cada validación sea analizada por separado. Para cada mensaje log, captura el texto del mensaje, marca temporal (timestamp), tiempo transcurrido, archivo log fuente y número de línea. También calcula una marca temporal Unix para soportar ordenamiento cronológico y análisis posteriores.

Para apoyar conciencia general y solución profunda, la herramienta produce dos salidas. La primera es un archivo CSV que contiene detalles output (salida) para cada mensaje log como se describió arriba. La segunda es un libro Excel que resume cada ejecución (run) validación en un formato más legible. El libro abre con una hoja README que explica las suposiciones del reporte, seguida por una hoja por cada ID solicitud (nombrada usando los primeros 31 caracteres del ID solicitud). Cada hoja run lista las operaciones parseadas, describe qué representa cada operación, desglosa tiempo transcurrido en Lectura (Reading), Validación (Validation) y Escritura (Writing) en segundos e incluye totales por fase formateados como horas, minutos y segundos.

Nota: Al construir las hojas run, el parser intenta evitar contar doblemente el tiempo sync. Si ocurre una operación sync durante una operación validación, la herramienta resta ese tiempo sync del total validación y lo reporta separadamente como Tiempo Lectura.

Si necesita detalle adicional, la salida CSV le permite rastrear una operación resumida hasta el mensaje log original. Comience con el nombre hoja basado en los primeros 31 caracteres del ID solicitud. Luego abra el CSV, encuentre el ID solicitud coincidente y compare texto operación desde libro con campo mensaje en CSV. Debido a que CSV también incluye ruta log fuente y número línea, puede usarlo para localizar mensaje original en archivo log ArcGIS Server.

Limitaciones conocidas y expectativas al ejecutar la herramienta

Con esta herramienta vienen algunos puntos importantes a tener en cuenta. Son los siguientes:

1.  La herramienta solo analiza aquellos mensajes (ReviewerUtilities) creados cuando se evalúan reglas basadas en Reviewer validation attribute rules. Hay mensajes adicionales (tanto Reviewer como no Reviewer) relacionados con el proceso validation siendo generados que no son capturados por esta herramienta.<\/LI>
2. La herramienta no analiza las reglas de atributos de validación basadas en Arcade.
   1. Consulte Solucionar problemas del comportamiento de reglas de atributos con ArcGIS Diagnostic Monitor y archivos de registro de ArcGIS Enterprise Server<\/A> para aprender más sobre la solución de problemas de reglas de atributos basadas en Arcade.<\/LI><\/OL><\/LI>La versión actual de esta herramienta no captura mensajes de error como tiempos de espera o registros relacionados con fuentes de datos faltantes.
      1. Para rastrear estos, puede que necesite comenzar con el excel, ver dónde no hay entradas o las entradas están en cero, rastrear eso hasta el csv (que incluye el registro y la línea) y luego desde allí examinar el registro bruto alrededor de ese mensaje para ver específicamente qué está ocurriendo.<\/LI><\/OL><\/LI>
      2. Al examinar el tiempo de validación, tipos específicos de verificación de Data Reviewer solo se listan una vez incluso si hay múltiples instancias de esa verificación siendo evaluadas.<\/LI>
      3. Al examinar el tiempo de validación, se espera que algunas verificaciones tomen más tiempo que otras para completarse debido a su diferente complejidad o al número de entidades sobre las que se ejecutan. Por ejemplo, las reglas basadas en la verificación
      Valency<\/A> son más intensivas en tiempo comparadas con otras verificaciones debido a la complejidad de las relaciones espaciales bajo evaluación.<\/LI>Al evaluar reglas de atributos, el tiempo total de evaluación de reglas es tan rápido como la regla más lenta. Esto es especialmente importante cuando se usa una mezcla de reglas de atributos Arcade y Data Reviewer<\/LI><\/OL>

      Comentarios bienvenidos<\/H3>Esta es la primera versión de la herramienta, y agradecemos sus comentarios. Ya sea que la esté usando para solucionar problemas de rendimiento o simplemente para entender mejor el comportamiento de validación, nos gustaría conocer su experiencia. Los comentarios, ideas para mejoras e informes de errores ayudarán a guiar futuras mejoras y harán que las herramientas sean aún más valiosas.<\/P>