Neues Tool zur Analyse der Attributregel-Leistung mit ArcGIS Data Reviewer

Jaspar_Saadi-Klein

Warum dieses Tool erstellt wurde

Die Leistung von ArcGIS Data Reviewer-basierten Attributregeln in ArcGIS Server zu verstehen, kann besonders bei der Auswertung großer Datenmengen eine Herausforderung sein. Dieses Tool wurde als Reaktion auf eine Reihe von Benutzer-Troubleshooting-Einsätzen entwickelt, bei denen Benutzer versuchten zu verstehen, wo tatsächlich Zeit während der Validierung von Attributregeln verbracht wird. Indem es Benutzern hilft, die Zeit für die Ausführung von Data Reviewer Attributregeln zu analysieren und aufzuschlüsseln, bietet das Tool eine bessere Sichtbarkeit der Leistung der Validierungsregeln, was es einfacher macht, Engpässe zu identifizieren, Probleme zu beheben und Unternehmens-Workflows zu optimieren.

Wie man das Tool verwendet

Führen Sie die folgenden Schritte aus, um das Log Parser Tool auszuführen:

1. Stellen Sie das Protokollierungsniveau Ihres ArcGIS Servers auf Debug ein. Befolgen Sie diese Anweisungen, um die Server-Protokolleinstellungen im ArcGIS Server Manager festzulegen.
2. Bewerten Sie Ihre Attributregeln
   1. Solange Data Reviewer-basierte Validierungsattributregeln für Ihre Daten erstellt wurden, sollten Protokollnachrichten vorhanden sein, die dieses Tool parsen kann.
3. Lokalisieren Sie den Ordner auf dem ArcGIS Server-Rechner, in dem die Serverprotokolle für den Dienst gespeichert sind. Es gibt zwei Speicherorte für die Protokolle, abhängig davon, ob Sie Ihre Validierungsattributregeln synchron oder asynchron ausgewertet haben. 
   1. Serverprotokolle für synchrone Auswertungen befinden sich in logs > Maschinenname > services > Dienstname.MapServer
      1.        Windows: C:\arcgisserver\logs\<Maschinenname>\services\<Dienstname>.MapServer
      2.         Linux: <ArcGIS Server Installationsverzeichnis>/logs/<Maschinenname>/services/<Dienstname>.MapServer
   2. Serverprotokolle für asynchrone Auswertungen befinden sich in logs > Maschinenname > services > System > ValidationTools.GPServer
      1.        Windows: C:\arcgisserver\logs\<Maschinenname>\services\System\ValidationTools.GPServer
      2.         Linux: <ArcGIS Server Installationsverzeichnis>/logs/<Maschinenname>/services/System/ValidationTools.GPServer
4. Führen Sie das Tool in ArcGIS Pro oder über das Terminal aus.
   1. Um das Tool in ArcGIS Pro auszuführen
      1. Speichern Sie die Datei ReviewerLogParser.pyt an einem bekannten Ort
      2. Kopieren Sie alle Serverprotokolle auf den Rechner mit ArcGIS Pro
      3. Öffnen Sie ArcGIS Pro und fügen Sie die Toolbox einem Projekt hinzu
      4. Öffnen Sie das Reviewer Log Parser Tool
      5. Für den Parameter Log Folder navigieren Sie zum Ordner mit den Serverprotokollen und klicken auf OK
      6. Geben Sie an, wo die geparste Excel-Ausgabe abgelegt werden soll
      7. Führen Sie das Tool aus

         

          

   2. Um das Tool im Terminal über die Python Interactive Shell auf dem Server mit den Protokollen auszuführen:
      1. Speichern Sie die Datei ReviewerLogParser.pyt an einem bekannten Ort auf dem Server-Rechner
      2. Ermitteln Sie den Speicherort der Serverprotokolle
      3. Starten Sie die interaktive Python-Shell, die mit ArcGIS Enterprise verbunden ist
         1. Unter Windows ist dies typischerweise "C:\Program Files\ArcGIS\Server\framework\runtime\ArcGIS\bin\Python\envs\arcgispro-py3\python"
         2. Unter Linux ist dies typischerweise <ArcGIS Server Installationsort>/arcgis/server/tools/python
      4. Importieren Sie arcpy
      5. Importieren Sie die Toolbox
         1. arcpy.ImportToolbox(Pfad/zur/ReviewerLogParser.pyt)
      6. Führen Sie das Tool aus
         1. arcpy.ReviewerLogParser_datareviewer(log_folder="/Pfad/zum/log/Ordner",output_excel="/Ausgabe/excel/geparste_Ausgabe.xlsx")
      7. Kopieren Sie die Ausgabe .xlsx und .csv auf einen Rechner mit Microsoft Excel (oder einem Excel Viewer) und sehen Sie sich die Ergebnisse an.

 

Wie das Tool funktioniert

Auf hoher Ebene besteht jede Auswertung aus drei Phasen: Lesen, Validierung und Schreiben. Lesen umfasst die Zeit, die für das Synchronisieren von Geodatabase-Features in temporäre SQLite-Tabellen aufgewendet wird, um sie für die Verarbeitung vorzubereiten. Validierung beinhaltet das Ausführen von Data Reviewer Attributregeln. Schreiben repräsentiert die Aufgaben, die erforderlich sind, um die Geodatabase mit Ergebnissen zu aktualisieren, wie z.B. neue Fehler zu protokollieren, behobene Fehler zu aktualisieren, bestehende Fehler zu aktualisieren und das Feld für den Validierungsstatus zu aktualisieren.

 

Wenn Data Reviewer-basierte Validierungsattributregeln ausgewertet werden, verwendet ArcGIS Server mehrere Optimierungen, um Regeln effizienter zu verarbeiten. Eine dieser Optimierungen ist die Erstellung einer temporären SQLite-Datenbank, die nur diejenigen Features und Felder enthält, die für die Auswertung benötigt werden. Dadurch können mehrere Data Reviewer Attributregeln in derselben Auswertung dieselben zwischengespeicherten Daten verwenden. Ähnliche Auswertungen können ebenfalls kombiniert werden, um die Gesamteffizienz der Verarbeitung zu verbessern.

Der Reviewer Log Parser hilft dabei festzustellen, wo während des Auswertungsprozesses Zeit verbracht wird. Er liest ArcGIS Server-Protokolldateien aus einem ausgewählten Ordner und sucht nach Data Reviewer Validierungsnachrichten, die von der ReviewerUtilities-Methode geschrieben wurden. Das Tool gruppiert dann verwandte Nachrichten nach Anfrage-ID, sodass jede Validierung separat analysiert werden kann. Für jede Protokollnachricht erfasst das Tool den Nachrichtentext, Zeitstempel, verstrichene Zeit, Quellprotokolldatei und Zeilennummer. Es berechnet auch einen Unix-Zeitstempel zur Unterstützung der chronologischen Sortierung und nachgelagerten Analyse.

Zur Unterstützung des allgemeinen Bewusstseins und tiefergehender Fehlerbehebung erzeugt das Tool zwei Ausgaben. Die erste ist eine CSV-Datei mit den Details jeder Protokollnachricht wie oben beschrieben. Die zweite ist eine Excel-Arbeitsmappe, die jede Validierungsausführung in einem lesbareren Format zusammenfasst. Die Arbeitsmappe öffnet sich mit einem README-Arbeitsblatt, das Annahmen zum Bericht erklärt, gefolgt von einem Arbeitsblatt pro Anfrage-ID (benannt nach den ersten 31 Zeichen der Anfrage-ID). Jedes Ausführungsarbeitsblatt listet die geparsten Operationen auf, beschreibt was jede Operation darstellt, teilt die verstrichene Zeit in Lesen-, Validierungs- und Schreibzeit in Sekunden auf und enthält Phasen-Gesamtsummen formatiert als Stunden, Minuten und Sekunden.

Hinweis: Beim Erstellen der Ausführungsarbeitsblätter versucht der Parser doppelte Zählung der Synchronisationszeit zu vermeiden. Wenn eine Synchronisationsoperation während einer Validierungsoperation stattfindet, zieht das Tool diese Synchronisationszeit vom Validierungsgesamtwert ab und meldet sie separat als Lesezeit.

Wenn Sie weitere Details benötigen, ermöglicht Ihnen die CSV-Ausgabe eine Rückverfolgung einer zusammengefassten Operation zur ursprünglichen Protokollnachricht. Beginnen Sie mit dem Arbeitsblattnamen, der auf den ersten 31 Zeichen der Anfrage-ID basiert. Öffnen Sie dann die CSV-Datei, finden Sie die passende Anfrage-ID und vergleichen Sie den Operationstext aus der Arbeitsmappe mit dem Nachrichtenfeld in der CSV. Da die CSV auch den Pfad zur Quellprotokolldatei und Zeilennummer enthält, können Sie damit die Originalnachricht in der ArcGIS Server-Protokolldatei finden.

Bekannte Einschränkungen und Erwartungen beim Ausführen des Tools

Mit diesem Tool sind einige wichtige Punkte verbunden, deren Kenntnis wichtig ist. Diese sind wie folgt:

1.  Das Tool parst nur jene Nachrichten (ReviewerUtilities), die beim Auswerten von Reviewer-basierten Validierungsattributregeln erstellt werden. Es gibt zusätzliche Nachrichten (sowohl Reviewer als auch Nicht-Reviewer), die sich auf den Validierungsprozess beziehen. generiert, die von diesem Tool nicht erfasst werden.<\/LI>
2. Das Tool analysiert keine auf Arcade basierenden Validierungsattributregeln.
   1. Siehe Fehlerbehebung bei Attributregelverhalten mit ArcGIS Diagnostic Monitor und ArcGIS Enterprise Server-Protokolldateien<\/A>, um mehr über die Fehlerbehebung bei auf Arcade basierenden Attributregeln zu erfahren.<\/LI><\/OL><\/LI>Die aktuelle Version dieses Tools erfasst keine Fehlermeldungen wie Zeitüberschreitungen oder fehlende Datenquellen-bezogene Protokolle.
      1. Um diese zurückzuverfolgen, müssen Sie möglicherweise mit der Excel-Datei beginnen, sehen, wo keine Einträge vorhanden sind oder Einträge auf Null gesetzt wurden, verfolgen dies zurück zur CSV (die das Protokoll und die Zeile enthält) und untersuchen dann das Rohprotokoll um diese Nachricht herum, um genau zu sehen, was vor sich geht.<\/LI><\/OL><\/LI>
      2. Bei der Untersuchung der Validierungszeit werden bestimmte Data Reviewer-Prüftypen nur einmal aufgeführt, auch wenn mehrere Instanzen dieser Prüfung ausgewertet werden.<\/LI>
      3. Bei der Untersuchung der Validierungszeit ist es zu erwarten, dass einige Prüfungen aufgrund ihrer unterschiedlichen Komplexität oder der Anzahl der Features, auf denen sie ausgeführt werden, länger dauern als andere. Zum Beispiel sind Regeln, die auf der
      Valency<\/A>-Prüfung basieren, zeitintensiver im Vergleich zu anderen Prüfungen aufgrund der Komplexität der räumlichen Beziehungen, die bewertet werden.<\/LI>Bei der Auswertung von Attributregeln ist die gesamte Regelbewertungszeit nur so schnell wie die langsamste Regel. Dies ist besonders wichtig bei der Verwendung einer Mischung aus Arcade- und Data Reviewer-Attributregeln<\/LI><\/OL>

      Feedback willkommen<\/H3>Dies ist die erste Version des Tools, und wir freuen uns über Ihr Feedback. Egal, ob Sie es zur Fehlerbehebung bei Leistungsproblemen verwenden oder einfach das Validierungsverhalten besser verstehen möchten, wir würden gerne Ihre Erfahrungen hören. Feedback, Verbesserungsvorschläge und Fehlerberichte helfen dabei, zukünftige Verbesserungen zu steuern und die Tools noch wertvoller zu machen.<\/P>