Příprava na povodeň: Potopí se váš GIS Server nebo se udrží nad vodou?

RandallWilliams

<\/HEAD>V poslední době jsem prováděl zátěžové testování proti ArcGIS Serveru a napadlo mě, že i když uživatelům často říkáme, aby před zveřejněním GIS aplikace použili nástroje pro zátěžové testování, příliš se nezabýváme tím, jak tyto testy nastavit. V tomto blogu popíšu, jak nakonfigurovat a spustit testy pomocí open source Java nástroje nazvaného JMeter, který pomáhá se zátěžovým testováním vaší instalace a aplikace GIS Serveru.Nejprve, co je to JMeter<\/A>?<\/STRONG>

Z webu JMeter:

2esktopove1 aplikace Apache JMeter<\/STRONG>16 je open source software, 100% čiste1 Java aplikace navr7eene1 k ze1t197eove9mu testove1ned funk0dnedho chove1ned a m1959ened vfdkonu. P6fvodn1b byla navr7eene1 pro testove1ned webovfdch aplikaced, ale od t1bch dob se roz61iila na dal61 funkce testovn.2Co s nm mu dlat? <\/STRONG>

2Apache JMeter lze pout k testovn vkonu jak na statickch, tak dynamickch zdrojich (soubory, Servlety, Perl skripty, Java objekty, databaze a dotazy, FTP servery a dal61"). Může být pouzit k simulaci vysoké zátěže na server, síť nebo objekt za účelem otestování jeho odolnosti nebo analýzy celkového výkonu pod různými typy zátěže. Můžete jej použít k vytvoření grafické analýzy výkonu nebo k testování chování vašeho serveru\/skriptu\/objektu pod těžkou současnou zátěží."

To je skvělé, ale tady je to, co já<\/STRONG> s tím dělám:

Používám JMeter k simulaci zátěže skupiny uživatelů současně pracujících s ArcGIS Serverem. Tito simulovaní uživatelé jsou SUPERLIDÉ, protože mé JMeter testy odesílají požadavky rychlostí stovek či tisíců za minutu. Nedávno jsem testoval využití paměti verze 10.1 po odeslání doslova více než 100 milionů dotazů na prvky ArcGIS Serveru na AMI během přibližně jednoho týdne. (Bude vás potěšit vědět, že jsem zjistil, že paměť byla během tohoto testu dobře spravována).

Pamatujte, že JMeter není prohlížeč. Zatímco server dokončí jakoukoli operaci, kterou mu zadáte, JMeter nevyobrazí odpověď graficky. Výsledky dostanete ve formě oznámení OPROŠEL\/NEPROŠEL.

Skvělé. Sestavme to dohromady a spusťme test. Dovolte mi vás tím provést.Co potřebuji?<\/STRONG>

Skvělá otázka. Budete potřebovat:Vaše zařízení s ArcGIS Serverem. Můžete testovat Java nebo .Net na jakémkoli podporovaném OS.<\/LI>Místo pro instalaci JMeteru. Může to být stejný stroj jako váš ArcGIS Server, ale zjistil jsem, že přesnější výsledky získáte, pokud je JMeter nainstalován jinde. Je to proto, že při běhu zabere Java kontejner aplikace JMeter značné množství RAM, což může zkreslit výsledky. JMeter je čistě Java nástroj a může běžet na Windows i Linuxu. Pro své testování používám JMeter na Win08.<\/LI>Fiddler a Firebug. Nástroj Fiddler<\/A> považuji za užitečný při řešení neúspěšných požadavků a podobně. Je také dobrý pro pomoc při vytváření požadavků používaných ve vašem testovacím plánu. Fiddler a Firebug (doplněk pro Firefox) jsou oba vynikající lehké nástroje pro testování a ladění.<\/LI>Nainstalované Java Runtime Environment (JRE) a nastavenou systémovou proměnnou prostředí ukazující na JAVA_HOME.<\/LI><\/UL>Kde začít?<\/STRONG>

JMeter nemá vlastně instalátor; vše potřebné je uvnitř složky aplikace. První věc je otevřít složku JMeterbin a podívat se na soubor JMeter.bat.  Na řádku 71 najděte řádek následujícího znění:set HEAP=-Xms512m \u2013Xmx512m<\/EM>

Tato proměnná definuje množství paměti vyhrazené pro Java Heap.

Zvýšil bych ji na 1024, čímž JVM věnuji celý gigabajt paměti takto:set HEAP=-Xms1024m -Xmx1024m<\/EM>

Jinak zejména u větších testů hrozí překročení limitu Java Heap, což může způsobit selhání JVM věnovaného JMeteru.

Poté co stáhnete JMeter, nainstalujete JRE a nastavíte proměnnou prostředí JAVA_HOME ukazující na umístění vaší instalace Java, je čas spustit JMeter. Otevřete příkazový řádek a přejděte do adresáře BIN v JMeter (tam kde je soubor JMeter.bat). Spusťte JMeter.bat z příkazové řádky a otevře se aplikace JMeter.<\/A>

Po otevření JMeter je čas nejprve definovat nějaké výchozí hodnoty. Klikněte pravým tlačítkem myši na ikonu Test Plan (vypadá jako odměrka) a přidejte HTTP Request Defaults Element.  (Přidat>Konfigurační prvek>HTTP Request Defaults)<\/A>

Nyní vyplníme některé z těchto parametrů na stránce HTTP Request Defaults.

Název serveru nebo IP: to je jasné samo o sobě. Vložte IP adresu nebo název stroje provozujícího ArcGIS Server (nebo proxy směřující na server).  Obvykle zde v JMeter nedefinuji žádné timeouty připojení ani odezvy. Cesta bude cesta k vašemu SOAP nebo REST endpointu – k operaci kterou chcete provést (dotaz, export mapy atd.). Parametry odeslané s požadavkem jsou podobné parametrům definovaným při dotazování přes REST Services Directory.

Považuji za užitečné použít nástroj Fiddler k zachycení URL dotazů odeslaných buď přes REST stránku služby nebo vaši webovou aplikaci pro usnadnění vyplnění těchto parametrů.

Například můžete vydat dotaz založený na sadě X/Y souřadnic s cílem získat některé atributy daného prvku. V tom případě můžete v Fiddler zachytit URL podobnou této:

http:\/\/_randall:6080\arcgis\rest\services\usa\MapServer\0\query?where=\n&text=&objectIds=&time=&geometry=-119.78861600000%2C35.30318900030\n&geometryType=esriGeometryPoint&inSR=4269&spatialRel=esriSpatialRel\nIntersects&relationParam=&outFields=*&returnGeometry=true&maxAllowable\nOffset=&outSR=&returnIdsOnly=false&returnCountOnly=false&orderByFields\n=&groupByFieldsForStatistics=&outStatistics=&returnZ=false&returnM=false\n&f=pjson<\/PRE>
V tomto URL vydávám dotaz na vrstvu '0' ve službě nazvané 'usa' poskytované z portu 6080 na stroji nazvaném 'randall'.

Nepoužívám žádné skutečné SQL operátory (klauzule where), ani nehledám konkrétní textový atribut (text). Nezajímá mě object ID ani časový prvek. Zajímá mě geometrie, tam jsou specifikovány mé XY hodnoty. Ve skutečnosti mě v tomto testu zajímají pouze prostorová reference (4326), prostorový vztah (intersect), outfields (* protože chci všechny) a odesílám geometrii jako bod. Nakonec bych chtěl, aby server odpověděl na požadavky v JSON formátu.  S tímto vědomím mohu trochu zkrátit URL kterou budu parsovat, aby bylo nastavení testu v JMeter snazší:http:\/localhost:6080\ArcGIS\rest\services\usa\MapServer\0\query?&geometry\n=-149.54518800000%2C70.42196900010&geometryType=esriGeometryPoint&inSR=4269\n&spatialRel=esriSpatialRelIntersects&returnCountOnly=false&returnIdsOnly=\nfalse&returnGeometry=true&outFields=*&f=json<\/PRE>
Jakmile mám tyto výchozí hodnoty shromážděné, vložím tyto vstupy do svého projektu v JMeter:

<\/A>

Dále budu muset nastavit nějaké simulované uživatele. Zatímco máme výchozí hodnoty požadavků nastavené, chceme testovat s mnoha různými hodnotami – jinými slovy nechceme aby naše aplikace stále přijímala stejný požadavek dokola, to by bylo příliš jednoduché. Nejlepší je testovat s mnoha různými vzorky.  V JMeter se toho dosahuje vytvořením "thread groups".

Klikněte pravým tlačítkem myši na Test Plan a vyberte "Přidat", pak "Vlákna (uživatelé)". V mém případě simulujeme zátěž 16 uživatelů, takže každá thread group bude obsahovat 2 vlákna. Chci vidět kolik zátěže moje aplikace zvládne před selháním, proto nastavím tento test tak aby běžel nekonečně dlouho.<\/A>

Jakmile jsou Thread Groups nastaveny, budeme muset nastavit skutečné požadavky obsahující výchozí hodnoty které jsme dříve nastavili i proměnné které chceme předat v našich požadavcích. K tomu klikněte pravým tlačítkem myši na Thread Group; vyberte "Přidat", "Konfigurační prvek", a pak "HTTP request defaults". Tato obrazovka by měla být známá; je přesně jako výchozí hodnoty které jsme původně vytvořili.

V tomto případě je cílem testu zjistit kolik zátěže server zvládne pokud bude odesláno mnoho stovek tisíc dotazovacích požadavků shromáždit atributy prvku na základě XY souřadnic předaných prostřednictvím dotazu.

Takže pro každý požadavek odeslaný JMeterem bude jediným prvkem dotazu, který se mění z požadavku na požadavek, vstupní geometrie bodu. K tomu jsem sestavil soubor .CSV a nastavil prvek CSV Data Set Configuration v mém testovacím projektu (Přidat>Konfigurační prvek>CSV data set Config). Váš zdroj dat nemusí být CSV, můžete použít databázovou tabulku, pokud dáváte přednost – použijte pro to JDBC připojení.<\/A>

Podle obrázku výše se můj CSV soubor jmenuje xycord.csv (mám CSV uložený ve stejné složce jako můj testovací plán – pokud je váš uložen jinde, nastavte název souboru na absolutní cestu, kde se nachází.

Nezapomeňte správně nastavit názvy proměnných – pokud jsou ve vašem CSV souboru mezery a čárky; ujistěte se, že tento prvek tyto mezery odráží. Čárkové oddělení zde pouze odděluje názvy proměnných v CSV – skutečný oddělovač použitý v CSV souboru je popsán v parametru „Delimiter“. Protože nechávám svůj test běžet, dokud ho nepřinutím zastavit, recykluji požadavky a nezastavuji, když JMeter zjistí, že byl dosažen konec souboru.

Pro svůj test jsem replikoval každý parametr HTTP požadavku pro každého uživatele, kterého simuluji ve skupinách vláken, které jsem nastavil.

Nyní je čas testovat. Uložte testovací plán.

V JMeteru přejděte na „Run“, poté „Start“. Klikněte na jednu ze zpráv.

S trochou štěstí vaše požadavky poběží. Pokud je procento chyb 100 %, pravděpodobně posíláte špatné požadavky.

Požadavky, které odesíláte serveru, můžete zkontrolovat pomocí nástroje Fiddler:

Pokud je Fiddler nainstalován na stejném počítači jako JMeter, můžete na hlavní stránce výchozích hodnot HTTP požadavků vynutit, aby provoz procházel přes proxy Fiddler, takže požadavky a následné odpovědi budou zachyceny. Ve výchozím nastavení Fiddler naslouchá na portu 8888, takže můžete JMeter nastavit takto:<\/A>

Když znovu spustíte běh JMeteru, Fiddler zachytí provoz, což vám umožní vidět, co JMeter předává, abyste mohli provést úpravy podle svých potřeb.Několik tipů<\/STRONG>

Používejte co nejméně posluchačů. Pro menší testy jsou grafické čítače skvělé. Tyto čítače však spotřebovávají hodně paměti a při větších testech jsem s čítači zhroutil JVM. Používám jen Summary Report – obsahuje informace, které potřebuji.

Zvažte použití JMeteru z příkazového řádku poté, co máte konfiguraci nastavenou. Možnost Command Line je minimálně náročná na zdroje.

To je pro tuto část vše. Budu pokračovat s dalšími testovacími pracovními postupy, jak budu moci.Randall W. - Server Support Analyst<\/EM>



<\/BODY><\/HTML>

AndresCastillo

This is exactly the tool (also SoapUI) that we are using now to load test and debug some datastore crashes we are experiencing.

See related article:

https://community.esri.com/groups/technical-support/blog/2017/01/11/gauging-arcgis-gis-server-performance-with-integrated-windows-authentication 

Also, another tool that we use in case of a request failure:

https://community.esri.com/groups/technical-support/blog/2018/06/07/monitoring-web-service-requests-using-fiddler 

Also, Chrome Dev Tools>Network>export Har