Vorbereitung auf die Flut: Wird Ihr GIS Server untergehen oder schwimmen?

RandallWilliams

<\/HEAD>Ich habe kürzlich einige Lasttests gegen ArcGIS Server durchgeführt, und mir kam in den Sinn, dass wir zwar oft den Nutzern empfehlen, Lasttest-Tools vor der Veröffentlichung einer GIS-Anwendung zu verwenden, aber nicht allzu sehr ins Detail gehen, wie man diese Tests einrichtet. In diesem Blog werde ich beschreiben, wie man Tests mit einem Open-Source-Java-Tool namens JMeter konfiguriert und ausführt, um bei der Lastprüfung Ihrer GIS Server-Installation und Anwendung zu helfen.Was ist JMeter<\/A>?<\/STRONG>

Von der JMeter-Webseite:

22Die Apache JMeter<\/STRONG>1222 Desktop-Anwendung ist Open-Source-Software, eine 100% reine Java-Anwendung, die entwickelt wurde, um funktionales Verhalten zu testen und Leistung zu messen. Ursprünglich wurde sie zum Testen von Webanwendungen entwickelt, hat sich aber seitdem auf andere Testfunktionen ausgeweitet. 22Was kann ich damit machen? <\/STRONG>

22Apache JMeter kann verwendet werden, um die Leistung sowohl statischer als auch dynamischer Ressourcen (Dateien, Servlets, Perl-Skripte, Java-Objekte, Datenbanken und Abfragen, FTP-Server und mehr) zu testen. Es kann verwendet werden, um eine hohe Last auf einen Server, ein Netzwerk oder ein Objekt zu simulieren, um dessen Belastbarkeit zu testen oder die Gesamtleistung unter verschiedenen Lastarten zu analysieren. Sie können es verwenden, um eine grafische Analyse der Leistung durchzuführen oder das Verhalten Ihres Servers\/Skripts\/Objekts unter hoher gleichzeitiger Last zu testen.22

Das ist alles großartig, aber hier ist, was ich<\/STRONG> damit mache:

Ich nutze JMeter, um die Last einer Gruppe von Benutzern zu simulieren, die gleichzeitig mit ArcGIS Server arbeiten. Diese simulierten Benutzer sind SUPERHUMAN, da meine JMeter-Tests Anfragen in einer Rate von Hunderten oder Tausenden pro Minute abschießen. Kürzlich habe ich die Speicherauslastung von 10.1 getestet, nachdem ich buchstäblich über 100 Millionen Abfrage-Feature-Anfragen an ArcGIS Server auf einer AMI über etwa eine Woche gesendet habe. (Sie werden erfreut sein zu wissen, dass ich festgestellt habe, dass der Speicher während dieses Tests gut verwaltet wurde).

Denken Sie daran, dass JMeter kein Browser ist. Während der Server jede Operation abschließt, die Sie ihm übermitteln, rendert JMeter die Antwort nicht grafisch. Sie erhalten Ergebnisse in Form einer BESTANDEN\/NICHT BESTANDEN-Benachrichtigung.

Gut. Lassen Sie uns das zusammenstellen und einen Test durchführen. Lassen Sie mich Sie durch den Prozess führen.Was brauche ich?<\/STRONG>

Gute Frage. Sie benötigen:Ihren ArcGIS Server-Rechner. Sie können Java oder .Net testen, auf jedem unterstützten Betriebssystem.<\/LI>Einen Ort zur Installation von JMeter. Dies kann derselbe Rechner wie Ihr ArcGIS Server sein, aber ich finde, dass Sie genauere Ergebnisse erhalten, wenn JMeter woanders installiert ist. Das liegt daran, dass beim Ausführen der Java-Container der JMeter-Anwendung einen guten Teil RAM verbraucht, was Ihre Ergebnisse verfälschen könnte. JMeter ist ein reines Java-Tool und kann unter Windows und Linux laufen. Für meine Tests verwende ich JMeter auf Win08.<\/LI>Fiddler und Firebug. Ich finde das Fiddler<\/A>-Tool hilfreich zur Fehlersuche bei fehlgeschlagenen Anfragen und ähnlichem. Es ist auch gut geeignet zum Erstellen von Anfragen für Ihren Testplan. Fiddler und Firebug (Add-on für den Firefox-Browser) sind beide ausgezeichnete leichte Tools zum Testen und Debuggen.<\/LI>Die Java Runtime Environment (JRE) installiert und eine Umgebungsvariable mit dem Verweis auf JAVA_HOME.<\/LI><\/UL>Wo fange ich an?<\/STRONG>

Es gibt eigentlich keinen Installer für JMeter; alles was Sie brauchen befindet sich im Anwendungsordner. Das Erste ist es den Ordner JMeterbin zu öffnen und sich die Datei JMeter.bat anzusehen.  In Zeile 71 finden Sie folgende Zeile:set HEAP=-Xms512m \u2013Xmx512m<\/EM>

Diese Variable definiert die Menge des Speichers, die dem Java Heap gewidmet wird.

Ich würde diesen Wert auf 1024 erhöhen und damit der JVM einen ganzen Gigabyte Speicher widmen:set HEAP=-Xms1024m -Xmx1024m<\/EM>

Andernfalls besteht insbesondere bei größeren Tests das Risiko, dass der Java Heap-Grenzwert überschritten wird, was dazu führen kann, dass die JVM für JMeter abstürzt.

Nachdem Sie JMeter heruntergeladen haben, die JRE installiert haben und die Umgebungsvariable JAVA_HOME auf Ihren Java-Installationsort gesetzt haben, ist es Zeit JMeter zu starten. Öffnen Sie dazu eine Eingabeaufforderung und navigieren Sie in das BIN-Verzeichnis von JMeter (dort wo auch JMeter.bat liegt). Rufen Sie JMeter.bat über die Kommandozeile auf und die Anwendung öffnet sich.

Mit geöffnetem JMeter definieren wir zuerst einige Standardwerte. Klicken Sie dazu mit der rechten Maustaste auf das Symbol des Testplans (es sieht aus wie ein Becher) und fügen Sie ein HTTP Request Defaults Element hinzu.  (Hinzufügen>Konfigurationselement>HTTP Request Defaults)

Jetzt füllen wir einige dieser Parameter auf der Seite HTTP Request Defaults aus.

Servername oder IP: das erklärt sich von selbst. Geben Sie die IP-Adresse oder den Hostnamen des Rechners ein, auf dem ArcGIS Server läuft (oder des Proxys der zum Server zeigt).  Normalerweise definiere ich hier in JMeter keine Verbindungs- oder Antwortzeitüberschreitungen. Der Pfad ist der Pfad zu Ihrem SOAP- oder REST-Endpunkt – zur Operation die Sie ausführen möchten (Abfrage, Kartenexport usw.). Die Parameter die mit der Anfrage gesendet werden ähneln denen aus dem REST Services Directory bei Abfragen.

Ich finde es hilfreich das Fiddler Tool zu verwenden um URLs von Abfragen einzufangen die entweder über die REST-Seite des Dienstes oder Ihre Webanwendung gesendet werden um diese Parameter auszufüllen.

Zum Beispiel könnten Sie eine Abfrage basierend auf einem Satz X/Y-Koordinaten ausführen mit dem Ziel einige Attribute für ein bestimmtes Feature abzurufen. In diesem Fall könnten Sie eine URL ähnlich der folgenden in Fiddler erfassen:http:\/\/randall:6080\/arcgis\/rest\/services\/usa\/MapServer\/0\/query?where=\n&text=&objectIds=&time=&geometry=-119.78861600000%2C35.30318900030\n&geometryType=esriGeometryPoint&inSR=4269&spatialRel=esriSpatialRel\nIntersects&relationParam=&outFields=*&returnGeometry=true&maxAllowable\nOffset=&outSR=&returnIdsOnly=false&returnCountOnly=false&orderByFields\n=&groupByFieldsForStatistics=&outStatistics=&returnZ=false&returnM=false\n&f=pjson<\/PRE>
In dieser URL führe ich eine Abfrage an Layer '0' in einem Dienst namens 'usa' durch welcher vom Port 6080 auf dem Rechner 'randall' bedient wird.

Ich verwende keine echten SQL-Operatoren (die where-Klausel), noch suche ich nach einem bestimmten Textattribut (text). Ich interessiere mich nicht für die Objekt-ID oder das Zeitelement. Wichtig ist mir die Geometrie – dort sind meine XY-Werte angegeben. Tatsächlich sind die einzigen Elemente die mir in diesem Test wichtig sind: das räumliche Bezugssystem (4326), die räumliche Beziehung (intersect), die outfields (* da ich alle möchte) und ich sende die Geometrie als Punkt ab. Schließlich möchte ich für diesen Test vom Server Antworten im JSON-Format erhalten.  Mit diesem Wissen kann ich die URL etwas kürzen um das Einrichten des JMeter-Tests übersichtlicher zu gestalten:http:\/localhost:6080\/ArcGIS\/rest\/services\/usa\/MapServer\/0\/query?&geometry\n=-149.54518800000%2C70.42196900010&geometryType=esriGeometryPoint&inSR=4269\n&spatialRel=esriSpatialRelIntersects&returnCountOnly=false&returnIdsOnly=\nfalse&returnGeometry=true&outFields=*&f=json<\/PRE>
Nachdem ich diese Standardwerte gesammelt habe gebe ich diese Eingaben in mein JMeter-Projekt ein:

Als nächstes muss ich einige simulierte Benutzer einrichten. Während wir nun die Standardanfragen definiert haben wollen wir mit vielen verschiedenen Werten testen – mit anderen Worten wollen wir nicht immer dieselbe Anfrage senden lassen – das wäre zu einfach. Am besten testen wir mit vielen unterschiedlichen Beispielen.  In JMeter erreicht man dies durch Erstellen von 'Thread Groups'.

Klicken Sie mit rechts auf den Testplan und wählen 'Hinzufügen', dann 'Threads (Benutzer)'. In meinem Fall simulieren wir eine Last von 16 Benutzern also enthält jede Thread Group 2 Threads. Ich möchte sehen wie viel Last meine Anwendung aushält bevor sie versagt also stelle ich diesen Test so ein dass er endlos wiederholt wird.

Nachdem die Thread Groups eingerichtet sind müssen wir nun die eigentlichen Anfragen konfigurieren welche sowohl die zuvor definierten Standardwerte als auch Variablen enthalten welche wir in unseren Anfragen übergeben wollen. Klicken Sie dazu mit rechts auf eine Thread Group wählen 'Hinzufügen', 'Konfigurationselement' und dann 'HTTP request defaults'. Dieser Bildschirm sollte Ihnen bekannt vorkommen – er sieht genau so aus wie unsere ursprünglich erstellten Standardwerte.

In diesem Fall besteht das Ziel des Tests darin herauszufinden wie viel Last der Server bewältigen kann wenn viele hunderttausend Abfrageanfragen gesendet werden um die Attribute eines Features basierend auf den über die Abfrage übergebenen XY-Koordinaten zu erfassen.

Für jede von JMeter gesendete Anfrage ändert sich also nur das Eingabepunkt-Geometrie-Element in der Abfrage von Anfrage zu Anfrage. Zu diesem Zweck habe ich eine .CSV-Datei erstellt und ein CSV Data Set Configuration-Element in meinem Testprojekt eingerichtet (Hinzufügen>Konfigurationselement>CSV Data Set Config). Ihre Datenquelle muss nicht CSV sein, Sie können auch eine Datenbanktabelle verwenden – dafür nutzen Sie eine JDBC-Verbindung.<\/A>

Wie in der obigen Abbildung gezeigt, heißt meine CSV-Datei xycord.csv (ich habe die CSV im selben Ordner wie meinen Testplan gespeichert – wenn Ihre Datei woanders liegt, geben Sie den absoluten Pfad zum Speicherort als Dateinamen an.

Stellen Sie sicher, dass die Variablennamen korrekt gesetzt sind – wenn Ihre CSV-Datei Leerzeichen und Kommas enthält, muss dieses Element diese Leerzeichen widerspiegeln. Die Kommatrennung hier trennt nur die Variablennamen in der CSV – der tatsächliche Trenner in der CSV-Datei wird im Parameter ‚Delimiter‘ beschrieben. Da ich meinen Test laufen lasse, bis ich ihn manuell stoppe, recycle ich die Anfragen und stoppe nicht, wenn JMeter das Ende der Datei erreicht.

Für meinen Test habe ich jeden HTTP-Anfrageparameter für jeden Benutzer repliziert, den ich in den eingerichteten Thread-Gruppen simuliere.

Jetzt ist es Zeit zu testen. Speichern Sie den Testplan.

Gehen Sie in JMeter auf ‚Run‘ und dann ‚Start‘. Klicken Sie auf einen der Berichte.

Mit etwas Glück werden Ihre Anfragen ausgeführt. Wenn Ihr Fehlerprozentsatz 100 % beträgt, senden Sie wahrscheinlich fehlerhafte Anfragen.

Sie können die Anfragen, die Sie an den Server senden, mit dem Fiddler-Tool untersuchen:

Wenn Fiddler auf demselben Rechner wie JMeter installiert ist, können Sie auf der Hauptseite der HTTP-Anfrage-Standardeinstellungen erzwingen, dass der Verkehr über den Fiddler-Proxy geleitet wird, damit Anfragen und nachfolgende Antworten erfasst werden. Standardmäßig hört Fiddler auf Port 8888, daher können Sie JMeter wie folgt einrichten:<\/A>

Wenn Sie Ihren JMeter-Lauf erneut starten, erfasst Fiddler den Verkehr, sodass Sie sehen können, was JMeter übermittelt, um Anpassungen nach Bedarf vorzunehmen.Einige Tipps<\/STRONG>

Verwenden Sie so wenige Listener wie möglich. Für kleinere Tests sind die grafischen Zähler großartig. Diese Zähler sind jedoch speicherintensiv, und ich habe meine JVM bei größeren Tests mit Zählern zum Absturz gebracht. Ich verwende nur den Summary Report – er enthält die Informationen, die ich benötige.

Erwägen Sie, JMeter über eine Befehlszeilenschnittstelle zu verwenden, sobald Ihre Konfiguration eingerichtet ist. Die Befehlszeilenoption ist minimal ressourcenintensiv.

Das war es für diese Ausgabe. Ich werde mit weiteren Test-Workflows nachlegen, sobald ich kann.Randall W. - Server Support Analyst<\/EM>



<\/BODY><\/HTML>

AndresCastillo

This is exactly the tool (also SoapUI) that we are using now to load test and debug some datastore crashes we are experiencing.

See related article:

https://community.esri.com/groups/technical-support/blog/2017/01/11/gauging-arcgis-gis-server-performance-with-integrated-windows-authentication 

Also, another tool that we use in case of a request failure:

https://community.esri.com/groups/technical-support/blog/2018/06/07/monitoring-web-service-requests-using-fiddler 

Also, Chrome Dev Tools>Network>export Har