Nouveaux outils pour évaluer de grands ensembles de données avec ArcGIS Data Reviewer

Jaspar_Saadi-Klein

IMPORTANT : Veuillez noter que les outils présentés dans ce blog sont en cours de développement et de test actif. Ce sont des travaux en cours et nous accueillons tous les retours, améliorations et rapports de problèmes lors de l'utilisation des outils.<\/P>

Pourquoi ces outils ont été créés<\/H3>Il est courant d'évaluer chaque entité d'un ensemble de données pour établir une compréhension de base de sa qualité, notamment pour déterminer si un nouvel ensemble de données est adapté à un projet ou si la livraison des données d'un fournisseur répond aux exigences contractuelles de qualité. Les outils Create Evaluation Grids et Evaluate Rules by Grid ont été développés pour relever les défis liés à l'évaluation de la qualité d'ensembles de données très volumineux contenant des millions d'entités. Dans ces scénarios, une approche basée sur l'étendue peut aider à soutenir ce type d'évaluation rigoureuse et à grande échelle de la qualité des entités, en divisant l'évaluation en sous-ensembles plus gérables.<\/P>Ce que font ces outils<\/H3><\/span><\/P>Ces outils divisent l'évaluation des règles d'attributs en étendues plus petites et plus gérables. C'est conceptuellement similaire au choix d'évaluer les règles sur l'étendue visible dans ArcGIS Pro. En coulisses, une étendue est transmise à l'outil de géotraitement Evaluate Rules et l'évaluation s'exécute uniquement sur les entités situées dans cette étendue. Plutôt que d'évaluer un ensemble de données entier en une seule fois, ces outils divisent l'ensemble de données en une collection d'étendues plus petites et évaluent chacune individuellement. Cela permet de traiter les grands ensembles de données par étapes tout en garantissant que toutes les règles sont évaluées sur l'ensemble complet des données.<\/P>Comment les grilles d'évaluation sont créées<\/H3>L'outil Create Evaluation Grids génère les étendues qui seront utilisées lors de l'évaluation.<\/P>Pour créer ces étendues, l'outil utilise l'outil de géotraitement Create Cartographic Partitions<\/A>. Cet outil crée des polygones en sortie basés sur la densité et la distribution des entités, permettant ainsi de diviser la charge d'évaluation en zones plus gérables.<\/P>

Le paramètre Maximum Features Per Grid est utilisé pour établir une limite supérieure du nombre d'entités pouvant être incluses dans une étendue d'évaluation donnée. Une ou plusieurs classes d'entités peuvent être spécifiées comme entrées, et le nombre total d'entités à travers toutes les classes sélectionnées est utilisé pour déterminer les limites des partitions. En conséquence, les zones à densité élevée produisent des polygones de grille plus petits, tandis que les zones moins denses produisent des polygones plus grands.<\/P>

Lorsque l'outil termine, il ajoute un champ Evaluation Required ainsi que des champs d'information sur l'étendue aux partitions générées, applique une symbologie et ajoute la couche résultante à la carte active.<\/P>

<\/span><\/P>La couche de grille résultante devient l'entrée pour l'outil Evaluate Rules By Grid.<\/P>

Comment l'évaluation est effectuée<\/H3>L'outil Evaluate Rules By Grid utilise la grille d'évaluation générée pour évaluer les règles d'attributs un polygone de grille à la fois.<\/P>Pour chaque polygone de grille, l'outil extrait l'étendue et transmet cette étendue à l'outil de géotraitement Evaluate Rules<\/A> ou à Evaluate REST API<\/A>. L'évaluation est ensuite effectuée sur toutes les classes d'entités et règles d'attributs dans cette étendue avant de passer au polygone suivant. Ce processus continue jusqu'à ce que tous les polygones aient été traités.<\/P>

Au fur et à mesure que l'outil s'exécute, un message de géotraitement est ajouté après chaque évaluation de polygone indiquant si le polygone a été traité ou ignoré. Cela facilite le suivi de la progression lors d'évaluations longues.<\/P>

<\/span><\/P>

Comprendre le champ Evaluation Required<\/H3>Le champ Evaluation Required existe uniquement pour suivre la progression du traitement des grilles.<\/P>Après qu'un polygone a été évalué avec succès, l'outil met à jour ce champ pour indiquer que le polygone n'a plus besoin d'être traité. Cela permet à l'évaluation de reprendre là où elle s'était arrêtée si l'exécution est interrompue par un délai ou un problème inattendu.<\/P>Lorsque l'outil est relancé avec le paramètre Skip Already Evaluated Grids activé, les polygones déjà traités sont ignorés et l'évaluation reprend avec les grilles restantes.<\/P>Il est important de noter que le champ Evaluation Required n'indique pas<\/STRONG> si des entités nécessitent une validation.<\/P>Les informations concernant la nécessité ou non qu'une entité soit validée sont maintenues séparément via le champ Validation Status propre à chaque classe d'entités. Le statut Validation Status est mis à jour lorsque des entités sont modifiées ou lorsque des règles attributaires de validation sont ajoutées ou modifiées. Le champ Evaluation Required ne suit que si un polygone spécifique doit encore être traité par le workflow Evaluate Rules By Grid.<\/P>Comment utiliser les outils<\/H3>Tout d'abord, exécutez l'outil Create Evaluation Grids pour créer la grille que utilisera l'outil Evaluate Rules By Grid. Pour cela, suivez les étapes suivantes :<\/P>Dans ArcGIS Pro, ajoutez toutes les couches d'entités contenant des règles attributaires de validation à une carte<\/LI>Ajoutez la boîte à outils GridEvaluation.pyt à un projet<\/LI>Cliquez sur Create Evaluation Grids<\/LI>Pour Input Features, sélectionnez les couches contenant des règles attributaires de validation<\/LI>Définissez le paramètre Maximum Features Per Grid<\/LI>Définissez le lieu de sortieLes sorties peuvent être placées dans des géodatabases fichier, mobile ou entreprise.<\/LI>La sortie sera en WGS 1984 ; donc si vous placez la sortie dans un jeu de données spatiales (feature dataset), celui-ci doit être en WGS 1984.<\/LI><\/OL><\/LI>Lancez l'outil<\/LI><\/OL><\/span><\/P> <\/P>Puis lancez l'outil Evaluate Rules By Grid<\/P>Ouvrez l'outil et pour Evaluation Grid, sélectionnez la grille issue du lancement précédent Create Evaluation Grids<\/LI>Laissez Skip Already Evaluated Grids coché<\/LI>Pour Workspace to Evaluate, sélectionnez le fichier, mobile ou service feature sur lequel évaluer les règles attributairesSi le workspace est une URL feature service, des paramètres supplémentaires apparaîtrontRemplissez Portal URL, Portal Username et Portal Password pour l'utilisateur enterprise qui exécutera l’évaluation.<\/LI>Spécifiez la version sur laquelle exécuter l’évaluation.Notez que ce champ sera automatiquement rempli avec une liste déroulante des versions disponibles dès que les informations du portail seront spécifiées. Cela peut prendre une minute.<\/LI><\/>\n<\/>\n<\/>\n<\/>\nDfinir le type dvaluation Lancer l27outil Pendant que loutil fonctionne vous pouvez voir les messages. Cela vous indiquera quels polygones ont été évalués et lesquels ont été ignorés (le cas échéant).   Points importants

• Il est préférable d’évaluer sans utiliser ces outils lorsque cela est possible. Si vous pouvez augmenter les délais du service feature et effectuer un réglage base-de-données (database tuning), il sera plus rapide d’effectuer une seule évaluation plutôt que plusieurs petites comme ces outils le font. N’utilisez ces outils que pour évaluer de grands ensembles avec plusieurs millions d’enregistrements après avoir épuisé toutes autres options.
• Vous pouvez réutiliser la même grille sans avoir besoin de relancer Create Evaluation Grids soit en décochant « Skip Already Evaluated Grids » soit en réinitialisant manuellement le champ Evaluation Required à No (0).