Nuevas Herramientas para Evaluar Grandes Conjuntos de Datos con ArcGIS Data Reviewer

Jaspar_Saadi-Klein

IMPORTANTE: Por favor, tenga en cuenta que las herramientas mostradas en este blog están en desarrollo y prueba activa. Son un trabajo en progreso y agradecemos cualquier comentario, mejora e informe de problemas mientras usa las herramientas.<\/P>

Por qué se crearon estas herramientas<\/H3>Es una práctica común evaluar cada entidad en un conjunto de datos para establecer una comprensión básica de su calidad, especialmente para determinar si un nuevo conjunto de datos es adecuado para un proyecto o si el entregable de datos de un proveedor cumple con los requisitos contractuales de calidad. Las herramientas Create Evaluation Grids y Evaluate Rules by Grid se desarrollaron para abordar los desafíos asociados con la evaluación de la calidad de conjuntos de datos muy grandes que contienen millones de entidades. En estos escenarios, un enfoque basado en extensión puede ayudar a respaldar este tipo de evaluación rigurosa y a gran escala de la calidad de las entidades, dividiendo la evaluación en subconjuntos más manejables.<\/P>Qué hacen estas herramientas<\/H3><\/span><\/P>Estas herramientas dividen la evaluación de reglas de atributos en extensiones más pequeñas y manejables. Conceptualmente es similar a elegir evaluar reglas en la extensión visible en ArcGIS Pro. Internamente, se pasa una extensión a la herramienta geoprocesamiento Evaluate Rules y la evaluación se ejecuta solo sobre las entidades dentro de esa extensión. En lugar de evaluar un conjunto completo de datos a la vez, estas herramientas dividen el conjunto en una colección de extensiones más pequeñas y evalúan cada una individualmente. Esto permite procesar grandes conjuntos de datos incrementalmente mientras se asegura que todas las reglas se evalúen en todo el conjunto.<\/P>Cómo se crean las cuadrículas de evaluación<\/H3>La herramienta Create Evaluation Grids genera las extensiones que se usarán durante la evaluación.<\/P>Para crear estas extensiones, la herramienta aprovecha la herramienta geoprocesamiento Create Cartographic Partitions<\/A>. Esta herramienta crea polígonos de salida basados en la densidad y distribución de entidades, permitiendo dividir la carga de trabajo de evaluación en áreas más manejables.<\/P>

El parámetro Maximum Features Per Grid se usa para establecer un límite superior para el número de entidades que pueden incluirse dentro de una extensión dada para evaluación. Se pueden especificar una o más clases de entidad como entradas, y el conteo total de entidades a través de todas las clases seleccionadas se usa para determinar los límites de partición. Como resultado, áreas con mayor densidad producen polígonos más pequeños, mientras que áreas menos densas producen polígonos más grandes.<\/P>

Cuando la herramienta termina, añade un campo Evaluation Required y campos con información sobre la extensión a las particiones generadas, aplica simbología y añade la capa resultante al mapa activo.<\/P>

<\/span><\/P>La capa resultante se convierte en la entrada para la herramienta Evaluate Rules By Grid.<\/P>

Cómo se realiza la evaluación<\/H3>La herramienta Evaluate Rules By Grid usa la cuadrícula generada para evaluar reglas de atributos un polígono a la vez.<\/P>Para cada polígono, la herramienta extrae la extensión y pasa esa extensión a la herramienta geoprocesamiento Evaluate Rules<\/A> o al Evaluate REST API<\/A>. Luego se realiza la evaluación contra todas las clases y reglas de atributos dentro de esa extensión antes de pasar al siguiente polígono. Este proceso continúa hasta que todos los polígonos han sido procesados.<\/P>

Mientras corre la herramienta, se añade un mensaje geoprocesamiento después que cada polígono es evaluado indicando si fue procesado o saltado. Esto facilita seguir el progreso durante evaluaciones largas.<\/P>

<\/span><\/P>

Comprendiendo el campo Evaluation Required<\/H3>El campo Evaluation Required existe únicamente para rastrear el progreso del procesamiento por cuadrícula.<\/P>Después que un polígono ha sido evaluado exitosamente, la herramienta actualiza este campo para indicar que ya no requiere procesamiento. Esto permite reanudar la evaluación donde quedó si la ejecución es interrumpida por un tiempo límite o problema inesperado.<\/P>Cuando se vuelve a ejecutar con el parámetro Skip Already Evaluated Grids activado, los polígonos ya procesados son saltados y la evaluación continúa con los restantes.<\/P>Es importante notar que el campo Evaluation Required no<\/STRONG> indica si las entidades requieren validación.<\/P>La información sobre si una entidad requiere validación se mantiene separadamente mediante el campo Validation Status en cada clase. Validation Status se actualiza cuando las entidades son modificadas o cuando reglas atributo-validación son añadidas o cambiadas. El campo Evaluation Required solo rastrea si un polígono específico aún necesita ser procesado por el flujo Evaluate Rules By Grid.<\/P>Cómo usar las herramientas<\/H3>Primero, ejecute Create Evaluation Grids para crear la cuadrícula que usará Evaluate Rules By Grid. Para ello, complete los siguientes pasos:<\/P>En ArcGIS Pro, agregue todas las capas que contengan reglas atributo-validación a un mapa<\/LI>Agregue el toolbox GridEvaluation.pyt a un proyecto<\/LI>Haga clic en Create Evaluation Grids<\/LI>Para Input Features, seleccione las capas que contienen reglas atributo-validación<\/LI>Configure el parámetro Maximum Features Per Grid<\/LI>Configure la ubicación del resultadoLos resultados pueden colocarse en geodatabases file, mobile o enterprise.<\/LI>El resultado estará en WGS 1984, así que si lo coloca en un dataset debe estar también en WGS 1984.<\/LI><\/OL><\/LI>Ejecútela herramienta<\/LI><\/OL><\/span><\/P> <\/P>A continuación ejecute Evaluate Rules By Grid<\/P>Abrir la herramienta y para Evaluation Grid seleccione la cuadrícula generada por Create Evaluation Grids<\/LI>Mantenga marcada Skip Already Evaluated Grids<\/LI>Para Workspace to Evaluate seleccione file, mobile o feature service donde evaluar reglas atributo:Si el workspace es URL feature service aparecerán parámetros adicionales:Llene Portal URL, Portal Username y Portal Password del usuario enterprise que ejecutará evaluación.<\/LI>Especifique versión donde correr evaluación:Tenga en cuenta que este campo se llenará automáticamente con lista desplegable una vez especificada información portal. Esto puede tardar un minuto.<\/LI>.