洪水に備える：あなたのGIS Serverは沈むか泳ぐか？

RandallWilliams

<\/HEAD>最近、ArcGIS Server に対して負荷テストを行っており、GIS アプリケーションを公開する前にユーザーに負荷テストツールの使用を勧めることはよくありますが、そのテストの設定方法についてあまり詳しく説明していないことに気づきました。このブログでは、オープンソースの Java ツールである JMeter を使って GIS Server のインストールとアプリケーションの負荷テストを支援するための設定と実行方法について説明します。まず、JMeter<\/A>とは何か？<\/STRONG>

JMeter のウェブサイトから：

Apache JMeter<\/STRONG>12デスクトップアプリケーションはオープンソースソフトウェアであり、100% 純粋な Java アプリケーションで、機能動作の負荷テストとパフォーマンス測定を目的としています。もともとは Web アプリケーションのテスト用に設計されましたが、その後他のテスト機能にも拡張されました。cこれで何ができるのか？ <\/STRONG>

cApache JMeter は静的および動的リソース（ファイル、Servlet、Perl スクリプト、Java オブジェクト、データベースとクエリ、FTP サーバーなど）のパフォーマンスをテストするために使用できます。サーバー、ネットワーク、またはオブジェクトに対して重い負荷をシミュレートし、その強度をテストしたり、異なる負荷タイプ下での全体的なパフォーマンスを分析したりできます。パフォーマンスのグラフィカルな分析や、多数同時負荷下でのサーバー／スクリプト／オブジェクトの動作テストにも利用可能です。c

素晴らしいですが、ここで私が実際に行っていることは次の通りです：

私は JMeter を使って ArcGIS Server を同時に操作するユーザー群の負荷をシミュレートしています。これらのシミュレートされたユーザーは超人的であり、私の JMeter テストは毎分数百から数千件のリクエストを発射します。最近では、AMI 上の ArcGIS Server に対して 1 億件以上のクエリフィーチャリクエストを約 1 週間かけて送信し、10.1 のメモリ使用率をテストしました。（このテスト中にメモリが適切に管理されていることが確認できて安心しました）。

JMeter はブラウザではないことを覚えておいてください。サーバーは送信された操作を完了しますが、JMeter はレスポンスをグラフィカルにレンダリングしません。結果は合格／不合格通知として得られます。

良いですね。それではこれらをまとめてテストを実行しましょう。手順をご案内します。何が必要ですか？<\/STRONG>

良い質問です。必要なものは：あなたの ArcGIS Server マシン。Java または .Net を任意のサポートされている OS 上でテスト可能です。<\/LI>JMeter をインストールする場所。これは ArcGIS Server と同じマシンでも構いませんが、JMeter を別マシンにインストールした方がより正確な結果が得られると思います。理由は、JMeter アプリケーションの Java コンテナが実行中にかなりの RAM を消費し、それが結果に影響する可能性があるためです。JMeter は純粋な Java ツールなので Windows と Linux で動作します。私の場合は Win08 上で JMeter を実行しています。<\/LI>Fiddler と Firebug。失敗したリクエストなどのトラブルシューティングには Fiddler<\/A> ツールが役立ちます。また、テストプランで使用するリクエスト作成にも便利です。Fiddler と Firebug（Firefox ブラウザ用アドオン）はどちらも軽量で優れたテスト・デバッグツールです。<\/LI>Java Runtime Environment (JRE) のインストールと JAVA_HOME を指す環境変数設定。<\/LI><\/UL>どこから始めればいい？<\/STRONG>

JMeter に専用インストーラーはなく、必要なものはすべてアプリケーションフォルダ内にあります。最初にやるべきことは JMeterbin フォルダを開き、JMeter.bat ファイルを確認することです。71 行目付近に次のような行があります：set HEAP=-Xms512m \u2013Xmx512m<\/EM>

この変数は Java ヒープに割り当てるメモリ量を定義しています。

これを 1024 に増やし、JVM に 1 ギガバイト全体を割り当てるようにします：set HEAP=-Xms1024m -Xmx1024m<\/EM>

そうしないと、大規模なテストでは Java ヒープ制限を超えてしまい、JMeter 用 JVM がクラッシュする恐れがあります。

JMeter をダウンロードし JRE をインストールし JAVA_HOME 環境変数を Java インストール先に設定したら、JMeter を起動します。コマンドプロンプトを開き JMeter.bat がある BIN ディレクトリへ移動してコマンドラインから JMeter.bat を呼び出すと JMeter アプリケーションが開きます。

JMeter が開いたら最初にいくつかデフォルト値を定義します。そのためには Test Plan アイコン（ビーカーのような形）を右クリックし HTTP Request Defaults 要素を追加します。(追加>Config Element>HTTP Request Defaults)

次に HTTP Request Defaults ページ上でこれらパラメータの一部を入力します。

サーバー名または IP：これは説明不要でしょう。ArcGIS Server が稼働しているマシン（またはそのサーバーへのプロキシ）の IP アドレスかホスト名を入力します。通常ここでは接続タイムアウトや応答タイムアウトは設定しません。パスには SOAP または REST エンドポイントへのパス（クエリやマップエクスポートなど実行したい操作）を指定します。リクエストと共に送信されるパラメータは REST Services Directory からクエリするときに定義されるパラメータと似ています。

Fiddler ツールでサービス REST ページやウェブアプリケーション経由で送信されるクエリ URL をキャプチャするとこれらパラメータ入力時に役立ちます。

例えば X/Y 座標セットに基づいて属性情報取得目的でクエリ発行するとき、Fiddler で以下のような URL をキャプチャできます：http:\/\/randall:6080\/arcgis\/rest\/services\/usa\/MapServer\/0\/query?where=\n&text=&objectIds=&time=&geometry=-119.78861600000%2C35.30318900030\n&geometryType=esriGeometryPoint&inSR=4269&spatialRel=esriSpatialRel\nIntersects&relationParam=&outFields=*&returnGeometry=true&maxAllowable\nOffset=&outSR=&returnIdsOnly=false&returnCountOnly=false&orderByFields\n=&groupByFieldsForStatistics=&outStatistics=&returnZ=false&returnM=false\n&f=pjson<\/PRE>
この URL では "randall" というマシン上ポート 6080 で提供されている "usa" サービス内レイヤ "0" に対してクエリ発行しています。

where 条件や text 属性など特定 SQL 演算子や属性指定は使っていません。また object ID や時間要素も気にしていません。ただジオメトリ（XY 値指定）が重要です。このテストでは空間参照 (4326)、空間関係 (交差)、outfields (* 全て取得)、ジオメトリタイプ (ポイント) のみ関心があります。そして最後にサーバーから JSON フォーマットでレスポンスしてほしいので、この URL は少し短縮して JMeter テスト設定しやすくしています：http:\/localhost:6080\/ArcGIS\/rest\/services\/usa\/MapServer\/0\/query?&geometry\n=-149.54518800000%2C70.42196900010&geometryType=esriGeometryPoint&inSR=4269\n&spatialRel=esriSpatialRelIntersects&returnCountOnly=false&returnIdsOnly=\nfalse&returnGeometry=true&outFields=*&f=json<\/PRE>
これらデフォルト値収集後、それら入力値を JMeter プロジェクトへ入れます：

次にシミュレートユーザー設定です。同じリクエストばかり繰り返すだけではなく、多様な値でテストしたいので、多数サンプルによる検証が望ましいです。それには JMeter の "thread groups" 機能を使います。

Test Plan を右クリックし "Add", 次に "Threads (Users)" を選択します。この例では 16 ユーザー負荷シミュレーションなので各 thread group に 2 スレッドずつ入れています。またアプリケーションがどこまで耐えられるかを見るため無限ループ設定としています。

Thread Groups 設定後、本番リクエスト設定へ進みます。この中には先ほど設定したデフォルト値とリクエスト内で渡す変数があります。そのため Thread Group を右クリックし "Add", "Config Element", "HTTP request defaults" を選択してください。この画面は最初に作成したデフォルト画面と同じものです。

今回の目的は、多数十万件ものクエリ要求送信時サーバー負荷耐性を見ることです クエリを通じて渡されたXY座標に基づいてフィーチャの属性を取得するために。

したがって、JMeterから送信される各リクエストごとに、リクエストごとに変わる唯一のクエリエレメントは入力ポイントジオメトリになります。そのために、.CSVファイルを作成し、テストプロジェクトにCSV Data Set Configurationエレメントを設定しました（追加>Config element>CSV data set Config）。データソースは必ずしもCSVである必要はなく、データベーステーブルを使用することもできます。その場合はJDBC接続を使用してください。<\/A>

上図のように、私のCSVファイルはxycord.csvと呼ばれています（CSVはテストプランと同じフォルダに保存しています。もし別の場所に保存している場合は、その絶対パスをファイル名に設定してください）。

変数名を正しく設定することを忘れないでください。CSVファイルにスペースやカンマが含まれている場合、このエレメントもそれらのスペースを反映させてください。ここでのカンマ区切りはCSV内の変数名を分けるだけであり、実際のCSVファイルで使われている区切り文字は「Delimiter」パラメータで指定します。私はテストを強制停止するまで実行し続けるため、リクエストをリサイクルし、JMeterがファイルの終わりに達したことを検出しても停止しません。

私のテストでは、スレッドグループでシミュレートしている各ユーザーごとにHTTPリクエストパラメータを複製しました。

さて、テストの時間です。テストプランを保存してください。

JMeterで「Run」から「Start」を選択します。レポートの一つをクリックしてください。

うまくいけば、リクエストが実行されます。もしエラー率が100%の場合は、不正なリクエストを送っている可能性があります。

Fiddlerツールを使ってサーバーに送信しているリクエストを調べることができます：

FiddlerがJMeterと同じマシンにインストールされている場合、メインのHTTP request defaultsページでトラフィックをFiddlerプロキシ経由に強制し、リクエストとその後のレスポンスをキャプチャできます。デフォルトではFiddlerはポート8888で待ち受けているので、JMeterは以下のように設定できます：<\/A>

再度JMeterの実行を開始すると、Fiddlerがトラフィックをキャプチャし、JMeterが何を送信しているかを見ることができ、それに応じて調整できます。いくつかのヒント<\/STRONG>

リスナーはできるだけ少なく使いましょう。小規模なテストではグラフィカルカウンターが便利ですが、これらはメモリ消費が激しく、大きなテストでカウンター使用時にJVMがクラッシュしたことがあります。私はSummary Reportだけ使っています—必要な情報が得られます。

設定が完了したらコマンドラインインターフェースからJMeterを使うことも検討してください。コマンドラインオプションは最小限のリソース消費です。

今回はこれで終わりです。また追加のテストワークフローについて追って報告します。Randall W. - Server Support Analyst<\/EM>



<\/BODY><\/HTML>

AndresCastillo

This is exactly the tool (also SoapUI) that we are using now to load test and debug some datastore crashes we are experiencing.

See related article:

https://community.esri.com/groups/technical-support/blog/2017/01/11/gauging-arcgis-gis-server-performance-with-integrated-windows-authentication 

Also, another tool that we use in case of a request failure:

https://community.esri.com/groups/technical-support/blog/2018/06/07/monitoring-web-service-requests-using-fiddler 

Also, Chrome Dev Tools>Network>export Har