Nový nástroj pro analýzu výkonu pravidel atributů s ArcGIS Data Reviewer

Jaspar_Saadi-Klein

Proč byl tento nástroj vytvořen

Porozumění výkonu atributových pravidel založených na ArcGIS Data Reviewer v ArcGIS Server může být náročné, zejména při vyhodnocování velkého objemu dat. Tento nástroj byl vyvinut jako reakce na řadu uživatelských řešení problémů, kdy se uživatelé snažili pochopit, kde se během vyhodnocování validation attribute rule skutečně tráví čas. Pomocí analýzy a rozkladu času pro vykonávání atributových pravidel Data Reviewer nástroj poskytuje lepší přehled o výkonu validačních pravidel, což usnadňuje identifikaci úzkých míst, řešení problémů a optimalizaci podnikových pracovních postupů.

Jak používat nástroj

Pro spuštění nástroje log parser dokončete následující kroky:

1. Nastavte úroveň protokolování vašeho ArcGIS Server na Debug. Postupujte podle těchto pokynů, jak specifikovat nastavení protokolů serveru v ArcGIS Server Manageru.
2. Vyhodnoťte svá atributová pravidla
   1. Pokud jsou na vašich datech vytvořena validační atributová pravidla založená na Data Reviewer, měly by existovat protokolové zprávy, které tento nástroj dokáže analyzovat.
3. Najděte složku na stroji ArcGIS Server, kde jsou uloženy protokoly serveru pro službu. Existují dvě místa, kde jsou protokoly uloženy v závislosti na tom, zda jste vyhodnotili validační atributová pravidla synchronně nebo asynchronně. 
   1. Protokoly serveru pro synchronní vyhodnocení se nacházejí v logs > machine name > services > service name.MapServer
      1.        Windows: C:\arcgisserver\logs\<machine name>\services\<service name>.MapServer
      2.         Linux: <ArcGIS Server installation directory>/logs/<machine name>/services/<service name>.MapServer
   2. Protokoly serveru pro asynchronní vyhodnocení se nacházejí v logs > machine name > services > System > ValidationTools.GPServer
      1.        Windows: C:\arcgisserver\logs\<machine name>\services\System\ValidationTools.GPServer
      2.         Linux: <ArcGIS Server installation directory>/logs/<machine name>/services/System/ValidationTools.GPServer
4. Spusťte nástroj v ArcGIS Pro nebo z terminálu.
   1. Pro spuštění nástroje v ArcGIS Pro
      1. Uložte soubor ReviewerLogParser.pyt na známé místo
      2. Zkopírujte všechny protokoly serveru do stroje s ArcGIS Pro
      3. Otevřete ArcGIS Pro a přidejte toolbox do projektu
      4. Otevřete nástroj Reviewer Log Parser
      5. U parametru Log Folder přejděte do složky obsahující protokoly serveru a klikněte na OK
      6. Zadejte místo pro uložení analyzovaného excelového výstupu
      7. Spusťte nástroj

         

          

   2. Pro spuštění nástroje v terminálu přes python interaktivní shell na serverovém stroji s protokoly:
      1. Uložte soubor ReviewerLogParser.pyt na známé místo na serverovém stroji
      2. Zjistěte umístění protokolů serveru
      3. Spusťte interaktivní python shell navázaný na ArcGIS Enterprise
         1. Pro Windows je to obvykle "C:\Program Files\ArcGIS\Server\framework\runtime\ArcGIS\bin\Python\envs\arcgispro-py3\python"
         2. Pro Linux je to obvykle <ArcGIS Server installation location>/arcgis/server/tools/python
      4. Nahrajte arcpy
      5. Nahrajte toolbox
         1. arcpy.ImportToolbox(cesta/k/ReviewerLogParser.pyt)
      6. Spusťte nástroj
         1. arcpy.ReviewerLogParser_datareviewer(log_folder="/cesta/k/log/složce",output_excel="/výstup/excel/analyzovaný_výstup.xlsx")
      7. Zkopírujte výstupní .xlsx a .csv do stroje s nainstalovaným Microsoft Excel (nebo Excel viewerem) a zobrazte výsledky.

 

Jak nástroj funguje

Zjednodušeně každý proces vyhodnocení sestává ze tří fází: čtení, validace a zápis. Čtení zahrnuje čas strávený synchronizací prvků geodatabáze do dočasných tabulek SQLite připravujících je k zpracování. Validace zahrnuje spuštění atributových pravidel Data Reviewer. Zápis představuje úkoly potřebné k aktualizaci geodatabáze s výsledky, jako je zaznamenání nových chyb, aktualizace opravených chyb, aktualizace existujících chyb a aktualizace pole stavu validace.

 

Když jsou vyhodnocována validační atributová pravidla založená na Data Reviewer, ArcGIS Server používá několik optimalizací pro efektivnější zpracování pravidel. Jednou z těchto optimalizací je vytvoření dočasné databáze SQLite obsahující pouze ty prvky a pole potřebné pro vyhodnocení, což umožňuje více atributovým pravidlům Data Reviewer ve stejném vyhodnocení používat stejná uložená data. Podobná vyhodnocení lze také kombinovat ke zvýšení celkové efektivity zpracování.

Nástroj Reviewer Log Parser pomáhá určit, kde se během procesu vyhodnocení tráví čas. Čte logovací soubory ArcGIS Server ze zvolené složky a hledá validační zprávy Data Reviewer psané metodou ReviewerUtilities. Nástroj pak seskupuje související zprávy podle ID požadavku, což umožňuje analyzovat každé vyhodnocení samostatně. Pro každou logovací zprávu zachycuje text zprávy, časové razítko, uplynulý čas, zdrojový logovací soubor a číslo řádku. Také vypočítává Unix timestamp pro podporu chronologického třídění a následné analýzy.

K podpoře obecného povědomí a hlubšího řešení problémů nástroj vytváří dva výstupy. Prvním je CSV soubor obsahující podrobnosti o každé logovací zprávě, jak bylo popsáno výše. Druhým je Excelový sešit shrnující každé spuštění validace ve čitelnějším formátu. Sešit začíná listem README vysvětlujícím předpoklady zprávy, následovaný jedním listem pro každé ID požadavku (pojmenovaným podle prvních 31 znaků ID požadavku). Každý list spuštění uvádí analyzované operace, popisuje co každá operace představuje, rozděluje uplynulý čas do fází Čtení, Validace a Zápis v sekundách a obsahuje součty fází formátované jako hodiny, minuty a sekundy.

Poznámka: Při vytváření listů spuštění parser snaží se vyhnout dvojímu započítání času synchronizace. Pokud během validační operace proběhne synchronizační operace, nástroj odečítá tento čas synchronizace od celkového času validace a hlásí jej samostatně jako Čas čtení.

Pokud potřebujete další podrobnosti, CSV výstup vám umožní sledovat shrnutou operaci zpět k původní logovací zprávě. Začněte názvem listu, který je založen na prvních 31 znacích ID požadavku. Poté otevřete CSV, najděte odpovídající ID požadavku a porovnejte text operace ze sešitu s polem zprávy v CSV. Protože CSV také obsahuje cestu ke zdrojovému logu a číslo řádku, můžete jej použít k nalezení původní zprávy v logovacím souboru ArcGIS Server.

Známá omezení a očekávání při spuštění nástroje

S tímto nástrojem přichází několik důležitých věcí k uvědomění si. Jsou následující:

1.  Nástroj analyzuje pouze ty zprávy (ReviewerUtilities), které vznikly při vyhodnocování validačních atributových pravidel založených na Reviewer. Existují další zprávy (jak Reviewer tak neReviewer) související s validačním procesem. generované, které nejsou tímto nástrojem zachyceny.<\/LI>
2. Nástroj neparsuje validační atributové pravidla založená na Arcade.
   1. Podívejte se na Řešení problémů s chováním atributových pravidel pomocí ArcGIS Diagnostic Monitor a logů ArcGIS Enterprise Serveru<\/A>, abyste se dozvěděli více o řešení problémů s atributovými pravidly založenými na Arcade.<\/LI><\/OL><\/LI>Současná verze tohoto nástroje nezachycuje chybové zprávy jako jsou časové limity nebo logy související s chybějícím zdrojem dat.
      1. Pro sledování těchto problémů možná budete muset začít s Excelem, zjistit, kde nejsou žádné záznamy nebo jsou záznamy nulové, sledovat to zpět k csv (který obsahuje log a řádek) a poté prozkoumat surový log kolem této zprávy, abyste přesně viděli, co se děje.<\/LI><\/OL><\/LI>
      2. Při zkoumání doby validace jsou specifické typy kontrol Data Reviewer uvedeny pouze jednou, i když je vyhodnocováno více instancí téže kontroly.<\/LI>
      3. Při zkoumání doby validace se očekává, že některé kontroly budou trvat déle než jiné kvůli jejich rozdílné složitosti nebo počtu prvků, na kterých běží. Například pravidla založená na
      Valency<\/A> kontrole jsou časově náročnější ve srovnání s jinými kontrolami kvůli složitosti prostorových vztahů, které jsou vyhodnocovány.<\/LI>Při vyhodnocování atributových pravidel je celkový čas vyhodnocení pravidla tak rychlý jako nejpomalejší pravidlo. To je zvláště důležité při použití kombinace Arcade a Data Reviewer atributových pravidel<\/LI><\/OL>

      Vítáme zpětnou vazbu<\/H3>Toto je první verze nástroje a vítáme vaši zpětnou vazbu. Ať už jej používáte k řešení problémů s výkonem nebo jen k lepšímu pochopení chování validace, rádi uslyšíme vaše zkušenosti. Zpětná vazba, nápady na vylepšení a hlášení chyb pomohou řídit budoucí vylepšení a učinit nástroje ještě hodnotnějšími.<\/P>