Nieuwe tools voor het evalueren van grote datasets met ArcGIS Data Reviewer

Jaspar_Saadi-Klein

BELANGRIJK: Houd er rekening mee dat de in deze blog getoonde tools zich in actieve ontwikkeling en testfase bevinden. Dit is een werk in uitvoering en we verwelkomen alle feedback, verbeteringen en meldingen van problemen terwijl u de tools gebruikt.<\/P>

Waarom deze tools zijn gemaakt<\/H3>Het is gebruikelijk om elk object in een dataset te evalueren om een basisbegrip van de kwaliteit vast te stellen, vooral om te bepalen of een nieuwe dataset geschikt is voor een project of dat de data-levering van een leverancier voldoet aan contractuele kwaliteitsvereisten. De tools Create Evaluation Grids en Evaluate Rules by Grid zijn ontwikkeld om de uitdagingen aan te pakken die gepaard gaan met het beoordelen van de kwaliteit van zeer grote datasets met miljoenen objecten. In deze scenario's kan een op extent gebaseerde aanpak helpen bij dit soort rigoureuze, grootschalige kwaliteitsbeoordeling van objecten, door de evaluatie op te splitsen in beter beheersbare subsets.<\/P>Wat deze tools doen<\/H3><\/span><\/P>Deze tools splitsen de evaluatie van attribuutregels op in kleinere, beter beheersbare extents. Het is conceptueel vergelijkbaar met het kiezen om regels te evalueren binnen de zichtbare extent in ArcGIS Pro. Onder de motorkap wordt een extent doorgegeven aan de geoprocessing tool Evaluate Rules en wordt de evaluatie alleen uitgevoerd op objecten binnen die extent. In plaats van een hele dataset in één keer te evalueren, verdelen deze tools de dataset in een verzameling kleinere extents en evalueren ze elk afzonderlijk. Dit maakt het mogelijk om grote datasets incrementeel te verwerken terwijl toch wordt gegarandeerd dat alle regels over de volledige dataset worden geëvalueerd.<\/P>Hoe evaluatierasters worden gemaakt<\/H3>De tool Create Evaluation Grids genereert de extents die tijdens de evaluatie zullen worden gebruikt.<\/P>Om deze extents te maken, maakt de tool gebruik van de Create Cartographic Partitions<\/A> geoprocessing tool. Deze tool maakt uitvoerpolygonen op basis van de dichtheid en verspreiding van objecten, waardoor de evaluatielast kan worden verdeeld in beter beheersbare gebieden.<\/P>

De parameter Maximum Features Per Grid wordt gebruikt om een bovengrens vast te stellen voor het aantal objecten dat binnen een bepaalde evaluatie-extent kan worden opgenomen. Eén of meer feature classes kunnen als invoer worden opgegeven, en het totale aantal objecten over alle geselecteerde feature classes wordt gebruikt bij het bepalen van de partitiegrenzen. Als gevolg hiervan produceren gebieden met een hogere objectdichtheid kleinere rasterpolygonen, terwijl minder dichtbevolkte gebieden grotere rasterpolygonen produceren.<\/P>

Wanneer de tool klaar is, voegt deze een veld Evaluation Required en extent-informatievelden toe aan de gegenereerde partitities, past symbologie toe en voegt de resulterende laag toe aan de actieve kaart.<\/P>

<\/span><\/P>De resulterende rasterlaag wordt de invoer voor de tool Evaluate Rules By Grid.<\/P>

Hoe evaluatie wordt uitgevoerd<\/H3>De tool Evaluate Rules By Grid gebruikt het gegenereerde evaluatieraster om attribuutregels per rasterpolygoon te evalueren.<\/P>Voor elke rasterpolygoon haalt de tool de extent op en geeft die extent door aan de geoprocessing tool Evaluate Rules<\/A> of Evaluate REST API<\/A>. De evaluatie wordt vervolgens uitgevoerd op alle feature classes en attribuutregels binnen die extent voordat wordt overgegaan naar de volgende rasterpolygoon. Dit proces gaat door totdat alle rasterpolygonen zijn verwerkt.<\/P>

Terwijl de tool draait, wordt na elke geëvalueerde rasterpolygoon een geoprocessingbericht toegevoegd waarin staat of het raster is verwerkt of overgeslagen. Dit maakt het gemakkelijker om voortgang bij te houden tijdens langdurige evaluaties.<\/P>

<\/span><\/P>

Begrijpen van het veld Evaluation Required<\/H3>Het veld Evaluation Required bestaat uitsluitend om voortgang bij het verwerken van rasters bij te houden.<\/P>Nadat een rasterpolygoon succesvol is geëvalueerd, werkt de tool dit veld bij om aan te geven dat verwerking voor dat raster niet langer nodig is. Dit maakt het mogelijk om de evaluatie voort te zetten waar deze was gebleven als uitvoering wordt onderbroken door time-out of onverwacht probleem.<\/P>Wanneer de tool opnieuw wordt uitgevoerd met de parameter Skip Already Evaluated Grids ingeschakeld, worden rasterpolygonen die al zijn verwerkt overgeslagen en gaat evaluatie verder met de resterende rasters.<\/P>Het is belangrijk op te merken dat het veld Evaluation Required niet<\STRONG> aangeeft of objecten validatie nodig hebben.<\/P>Informatie over of een object validatie nodig heeft, wordt apart bijgehouden via het Validation Status-veld van elke feature class. Validation Status wordt bijgewerkt wanneer objecten worden gewijzigd of wanneer validatie-attribuutregels worden toegevoegd of gewijzigd. Het veld Evaluation Required houdt alleen bij of een specifieke rasterpolygoon nog moet worden verwerkt door de workflow Evaluate Rules By Grid.<\/P>Hoe u de tools gebruikt<\/H3>Voer eerst de tool Create Evaluation Grids uit om het raster te maken dat door Evaluate Rules By Grid zal worden gebruikt. Voltooi hiervoor onderstaande stappen:<\/P>Voeg in ArcGIS Pro alle feature-lagen toe die validatie-attribuutregels bevatten aan een kaart<\LI>Voeg het toolbox GridEvaluation.pyt toe aan een project<\LI>Klik op Create Evaluation Grids<\LI>Selecteer voor Input Features de feature-lagen die validatie-attribuutregels bevatten<\LI>Stel de parameter Maximum Features Per Grid in<\LI>Stel de uitvoerlocatie inUitvoer kan worden geplaatst in file-, mobile- of enterprise-geodatabases.<\LI>De uitvoer zal in WGS 1984 zijn, dus als u uitvoer plaatst in een feature dataset, moet deze ook in WGS 1984 zijn.<\LI>Voer de tool uit<\LI> <\P>Voer vervolgens Evaluate Rules By Grid uit<\P>Open de tool en selecteer voor Evaluation Grid het rasteruitvoerbestand van Create Evaluation Grids<\LI>Laten Skip Already Evaluated Grids aangevinkt staan<\LI>Selecteer voor Workspace to Evaluate het bestand, mobile of feature service waarop attribuutregels moeten worden geëvalueerdAls workspace een feature service URL is, verschijnen extra parametersVul Portal URL, Portal Username en Portal Password in voor de enterprise-gebruiker die evaluatie uitvoert.<\LI>Specificeer welke versie geëvalueerd moet worden.Let op: dit veld wordt automatisch gevuld met een dropdownlijst van beschikbare versies zodra portalinformatie is opgegeven. Dit kan even duren.<\LI>Stel Evaluation Type in<\LI>Voer de tool uitTerwijl de tool draait kunt u berichten bekijken. Hiermee ziet u welke rasterpolygonen zijn geëvalueerd en welke zijn overgeslagen (indien aanwezig).<\LI> <\P>Opmerkingen<\H3>Het verdient voorkeur om zonder deze tools te evalueren indien mogelijk. Als u service-timeouts kunt verhogen voor uw feature service en database-tuning kunt uitvoeren, gaat één enkele evaluatieronde sneller dan veel kleinere zoals deze tools doen. Gebruik deze tools alleen bij grote datasets met miljoenen records nadat alle andere opties zijn uitgeput.<\LI>U kunt hetzelfde raster hergebruiken en hoeft Create Evaluation Grids niet opnieuw uit te voeren door "Skip Already Evaluated Grids" uit te schakelen of handmatig het veld Evaluation Required terug te zetten naar Nee (0).<\LI>