Nové nástroje pro hodnocení velkých datových sad pomocí ArcGIS Data Reviewer

Jaspar_Saadi-Klein

DŮLEŽITÉ: Upozorňujeme, že nástroje zobrazené v tomto blogu jsou ve fázi aktivního vývoje a testování. Jedná se o rozpracovanou verzi a vítáme jakoukoli zpětnou vazbu, vylepšení a hlášení problémů při používání těchto nástrojů.<\/P>

Proč byly tyto nástroje vytvořeny<\/H3>Je běžnou praxí vyhodnotit každý prvek v datové sadě, aby se stanovila základní úroveň kvality, zejména k určení, zda je nová datová sada vhodná pro projekt nebo zda dodávka dat od poskytovatele splňuje smluvní požadavky na kvalitu. Nástroje Create Evaluation Grids a Evaluate Rules by Grid byly vyvinuty k řešení výzev spojených s hodnocením kvality velmi velkých datových sad obsahujících miliony prvků. V těchto scénářích může přístup založený na rozsahu pomoci podpořit tento typ důkladného hodnocení kvality prvků ve velkém měřítku tím, že hodnocení rozdělí do lépe zvládnutelných podmnožin.<\/P>Co tyto nástroje dělají<\/H3><\/span><\/P>Tyto nástroje rozdělují hodnocení atributových pravidel do menších, lépe zvládnutelných rozsahů. Konceptuálně je to podobné jako rozhodnutí hodnotit pravidla na viditelném rozsahu v ArcGIS Pro. Pod kapotou je rozsah předán geoprocesnímu nástroji Evaluate Rules a hodnocení probíhá pouze na prvcích uvnitř tohoto rozsahu. Místo hodnocení celé datové sady najednou tyto nástroje rozdělí datovou sadu do kolekce menších rozsahů a každý z nich vyhodnotí samostatně. To umožňuje zpracovávat velké datové sady postupně a zároveň zajistit, že všechna pravidla jsou vyhodnocena napříč celou datovou sadou.<\/P>Jak jsou vytvářeny hodnotící mřížky<\/H3>Nástroj Create Evaluation Grids generuje rozsahy, které budou použity během hodnocení.<\/P>Pro vytvoření těchto rozsahů nástroj využívá geoprocesní nástroj Create Cartographic Partitions<\/A>. Tento nástroj vytváří výstupní polygony na základě hustoty a rozložení prvků, což umožňuje rozdělit pracovní zátěž hodnocení do lépe zvládnutelných oblastí.<\/P>

Parametr Maximum Features Per Grid slouží k nastavení horního limitu počtu prvků, které mohou být zahrnuty v daném hodnotícím rozsahu. Jako vstupy lze zadat jednu nebo více tříd prvků a celkový počet prvků napříč všemi vybranými třídami prvků se používá při určování hranic oddílů. Výsledkem je, že oblasti s vyšší hustotou prvků produkují menší polygonální mřížky, zatímco méně husté oblasti produkují větší polygonální mřížky.<\/P>

Po dokončení nástroj přidá pole Evaluation Required a pole s informacemi o rozsahu do vytvořených oddílů, aplikuje symboliku a přidá výslednou vrstvu do aktivní mapy.<\/P>

<\/span><\/P>Výsledná vrstva mřížky se stává vstupem pro nástroj Evaluate Rules By Grid.<\/P>

Jak probíhá hodnocení<\/H3>Nástroj Evaluate Rules By Grid používá vytvořenou hodnotící mřížku k vyhodnocení atributových pravidel po jednotlivých polygonech mřížky.<\/P>Pro každý polygon mřížky nástroj extrahuje rozsah a předává tento rozsah geoprocesnímu nástroji Evaluate Rules<\/A> nebo Evaluate REST API<\/A>. Hodnocení se pak provádí vůči všem třídám prvků a atributovým pravidlům v tomto rozsahu před přechodem na další polygon mřížky. Tento proces pokračuje, dokud nejsou zpracovány všechny polygony mřížky.<\/P>

Během běhu nástroje je po vyhodnocení každého polygonu mřížky přidána zpráva geoprocessingu, která indikuje, zda byl polygon zpracován nebo přeskočen. To usnadňuje sledování průběhu během dlouhotrvajících hodnocení.<\/P>

<\/span><\/P>

Porozumění poli Evaluation Required<\/H3>Pole Evaluation Required existuje výhradně pro sledování postupu zpracování mřížky.<\/P>Poté, co byl polygon mřížky úspěšně vyhodnocen, nástroj aktualizuje toto pole tak, aby indikovalo, že již není potřeba tento polygon zpracovávat. To umožňuje pokračovat v hodnocení tam, kde bylo přerušeno kvůli časovému limitu nebo neočekávanému problému.<\/P>Když je nástroj spuštěn znovu s povoleným parametrem Skip Already Evaluated Grids, polygony mřížky, které již byly zpracovány, jsou přeskočeny a hodnocení pokračuje u zbývajících polygonů.<\/P>Je důležité poznamenat, že pole Evaluation Required neindikujе, zda prvky vyžadují validaci.<\/P>Informace o tom, zda prvek vyžaduje validaci, jsou uchovávány samostatně prostřednictvím pole Validation Status každé třídy prvků. Pole Validation Status se aktualizuje při úpravách prvků nebo při přidání či změně validačních atributových pravidel. Pole Evaluation Required sleduje pouze to, zda konkrétní polygon mřížky ještě musí být zpracován pracovním postupem Evaluate Rules By Grid.<\/P>Jak používat tyto nástroje<\/H3>Nejprve spusťte nástroj Create Evaluation Grids pro vytvoření mřížky, kterou bude používat nástroj Evaluate Rules By Grid. Postupujte podle následujících kroků:<\/P>V ArcGIS Pro přidejte všechny vrstvy prvků obsahující validační atributová pravidla do mapy<\/LI>Přidejte toolbox GridEvaluation.pyt do projektu<\/LI>Klikněte na Create Evaluation Grids<\/LI>U položky Input Features vyberte vrstvy prvků obsahující validační atributová pravidla<\/LI>Nastavte parametr Maximum Features Per Grid<\/LI>Nastavte výstupní umístěníVýstupy mohou být umístěny v souborových, mobilních nebo enterprise geodatabázích.<\/LI>Výstup bude ve WGS 1984, takže pokud umisťujete výstup do feature datasetu, musí být ve WGS 1984.<\/LI><\/OL><\/LI>Spusťte nástroj<\/LI><\/OL><\/span><\/P> <\/P>Následně spusťte nástroj Evaluate Rules By Grid<\/P>Otevřete nástroj a u položky Evaluation Grid vyberte výstupní mřížku ze spuštění Create Evaluation Grids<\/LI>Ponechte zaškrtnutou volbu Skip Already Evaluated Grids<\/LI>U položky Workspace to Evaluate vyberte souborovou, mobilní nebo feature službu pro hodnocení atributových pravidelPokud je workspace URL feature služby, zobrazí se další parametryVyplňte Portal URL, Portal Username a Portal Password pro enterprise uživatele provádějícího hodnocení.<\/LI>Zadejte verzi pro spuštění hodnocení.Poznámka: Toto pole bude automaticky naplněno rozbalovacím seznamem dostupných verzí po zadání informací o portálu. Může to chvíli trvat.<\/LI>Nastavte Evaluation Type<\/LI >Spusťte nástrojBěhem běhu nástroje můžete sledovat zprávy. Ty vám řeknou, které polygony mřížky byly vyhodnoceny a které byly přeskočeny (pokud nějaké).<\/LI>< P >< span class = "lia-inline-image-display-wrapper lia-image-align-center " image-alt = "Pre-RunEvalGrid.png " style = "width: 235px; " > < img src = "https://us.v-cdn.net/6038851/uploads/images/155382iE1BB5B7F1B94D03F/Pre-RunEvalGrid.png " role = "button " title = "Pre-RunEvalGrid.png " alt = "Pre-RunEvalGrid.png " /> < / span > < / P > < P > < span class = "lia-inline-image-display-wrapper lia-image-align-center " image-alt = "mid evaluation.png " style = "width: 235px; " > < img src = "https://us.v-cdn.net/6038851/uploads/images/155383i170C23D93B64C49C/mid evaluation.png " width = "235 " height = "45 " role = "button " title = "mid evaluation.png " alt = "mid evaluation.png " /> < / span > < / P > < P > < / P > < H3 id = "toc-hId--1000445900">Poznámky k použití< / H3 > < OL > < LI > Je preferováno hodnotit bez použití těchto nástrojů pokud je to možné. Pokud můžete zvýšit časové limity služby pro vaši feature službu a provést ladění databáze, bude rychlejší provést jedno hodnocení než mnoho menších hodnocení jako tyto nástroje dělají. Tyto nástroje používejte pouze při hodnocení velkých datových sad s mnoha miliony záznamů poté, co jste vyčerpali všechny ostatní možnosti.< / LI > < LI > Můžete znovu použít stejnou mřížku a nemusíte spouštět Create Evaluation Grids znovu buď odškrtnutím „Skip Already Evaluated Grids“ nebo ručním resetováním pole Evaluation Required na No (0).< / LI > < / OL >