Preparándose para la inundación: ¿Su GIS Server se hundirá o nadará?

RandallWilliams

<\/HEAD>He estado realizando algunas pruebas de carga contra ArcGIS Server recientemente, y se me ocurrió que, aunque a menudo decimos a los usuarios que utilicen herramientas de prueba de carga antes de hacer pública una aplicación GIS, no entramos en demasiados detalles sobre cómo configurar esas pruebas. En este blog, describiré cómo configurar y ejecutar pruebas usando una herramienta Java de código abierto llamada JMeter para ayudar con las pruebas de carga de su instalación y aplicación GIS Server.Primero, ¿qué es JMeter<\/A>?<\/STRONG>

Desde el sitio web de JMeter:

La aplicacif3n de escritorio Apache JMeter<\/STRONG>17; es un software de cf3digo abierto, una aplicacif3n 100% pura Java disef1ada para probar la carga del comportamiento funcional y medir el rendimiento. Originalmente fue disef1ada para probar aplicaciones web pero desde entonces se ha ampliado a otras funciones de prueba. bfQue9 puedo hacer con ella? <\/STRONG>

Apache JMeter puede usarse para probar el rendimiento tanto en recursos este1ticos como dine1micos (archivos, Servlets, scripts Perl, objetos Java, bases de datos y consultas, servidores FTP y me1s). Puede usarse para simular una carga pesada en un servidor, red u objeto para probar su resistencia o para analizar el rendimiento general bajo diferentes tipos de carga. Puede usarlo para hacer un ane1lisis gre1fico del rendimiento o para probar el comportamiento de su servidor\/script\/objeto bajo una carga concurrente pesada."

Eso es genial, pero aqued este1 lo que yo<\/STRONG> hago con ella:

Uso JMeter para simular la carga de un grupo de usuarios trabajando simulte1neamente con ArcGIS Server. Estos usuarios simulados son SOBRENATURALES, ya que mis pruebas JMeter envedan solicitudes a una tasa de cientos o miles por minuto. Recientemente probe9 la utilizacif3n de memoria de la versif3n 10.1 despue9s de enviar literalmente me1s de 100 millones de solicitudes de consulta a ArcGIS Server en un AMI durante aproximadamente una semana. (Le alegrare1 saber que encontre9 que la memoria se gestionf3 bien durante esta prueba).

Recuerde que JMeter no es un navegador. Aunque el servidor completare1 cualquier operacif3n que le envde, JMeter no representare1 la respuesta gre1ficamente. Obtiene resultados en forma de notificacif3n APROBADO\/FALLADO.

Genial. Pongamos eso junto y ejecutemos una prueba. Permdtame guiarte.1 qué necesito?<\/STRONG>

Buena pregunta. Necesitaras:Tu maquina ArcGIS Server. Puedes probar Java o .Net, en cualquier SO compatible.<\/LI>Un lugar para instalar JMeter. Esto puede ser la misma maquina que tu ArcGIS Server, pero encuentro que obtendras resultados mas precisos si JMeter esta instalado en otro lugar. Eso es porque mientras se ejecuta, el contenedor Java de la aplicacion JMeter consumira bastante RAM, lo que podra sesgar tus resultados. JMeter es una herramienta pura Java, por lo que puede ejecutarse en Windows y Linux. Para mis pruebas, estoy ejecutando JMeter en Win08.<\/LI>Fiddler y Firebug. Encuentro que la herramienta Fiddler<\/A> es útil para solucionar problemas con solicitudes fallidas y similares. Tambi1n es buena para ayudar a construir solicitudes que se usarán en tu plan de prueba. Fiddler y Firebug (complemento para el navegador Firefox) son ambas excelentes herramientas ligeras para probar y depurar.<\/LI>El Entorno de Ejecucion Java (JRE) instalado y una variable de entorno apuntando a JAVA_HOME.<\/LI><\/UL>1 ddnde empiezo?<\/STRONG>

Realmente no hay un instalador para JMeter, todo lo que necesitas esta dentro de la carpeta de la aplicacion. Lo primero que debes hacer es abrir la carpeta JMeterbin y echar un vistazo al archivo JMeter.bat.  En la ldnea 71, encuentra la ldnea que dice lo siguiente:set HEAP=-Xms512m Xmx512m<\/EM>

Esta variable define la cantidad de memoria dedicada al Heap Java.

Yo aumentarda esto a 1024, dedicando un gigabyte completo de memoria a la JVM, as:set HEAP=-Xms1024m -Xmx1024m<\/EM>

De lo contrario, especialmente en pruebas ms grandes, corres el riesgo de superar el umbral del Heap Java, lo que puede causar que falle la JVM dedicada a JMeter.

Despus de descargar JMeter, instalar el JRE y configurar la variable de entorno JAVA_HOME apuntando a tu ubicacin de instalacin Java, es hora de iniciar JMeter. Para hacerlo, abre un sdnterprete de comandos y navega hasta el directorio BIN de JMeter (el mismo lugar donde estd el archivo JMeter.bat). Ejecuta JMeter.bat desde la ldnnea de comandos y se abrird la aplicaciudn JMeter.<\/A>

Con JMeter abierto, es hora primero definir algunos valores predeterminados. Para hacerlo, haz clic derecho sobre el icono Plan de Prueba (parece un matraz) y agrega un Elemento Predeterminado HTTP Request.  (Agregar>Elemento Configuraciudn>Predeterminados HTTP Request)<\/A>

Ahora vamos a rellenar algunos pardmmetros en la pddgina Predeterminados HTTP Request.

Nombre del servidor o IP: eso es autoexplicativo. Inserta la direcciudn IP o nombre del host del equipo que ejecuta ArcGIS Server (o el proxy que apunta al servidor).  Normalmente no defino tiempos dsd conexiudn ni respuesta aqud en JMeter. La ruta serd la ruta a tu punto final SOAP o REST - a la operaciudn que quieres realizar (consulta, exportar mapa, etc.). Los pardmmetros enviados con la solicitud son similares a los pardmmetros definidos si consultas mediante el Directorio REST Services.

Encuentro útil usar la herramienta Fiddler para capturar las URLS dsd consultas enviadas ya sea mediante la pddgina REST del servicio o tu aplicaciudn web para ayudar a rellenar estos pardmmetros.

Por ejemplo, puedes emitir una consulta basada en un conjunto dsd coordenadas X\Y con la intenciudn dsd recuperar algunos atributos para una entidad dada. En ese caso puedes capturar una URL similar a la siguiente en Fiddler:

http:\/\/randall:6080\/arcgis\/rest\/services\/usa\/MapServer\/0\/query?where=\n&text=&objectIds=&time=&geometry=-119.78861600000%2C35.30318900030\n&geometryType=esriGeometryPoint&inSR=4269&spatialRel=esriSpatialRel\nIntersects&relationParam=&outFields=*&returnGeometry=true&maxAllowable\nOffset=&outSR=&returnIdsOnly=false&returnCountOnly=false&orderByFields\n=&groupByFieldsForStatistics=&outStatistics=&returnZ=false&returnM=false\n&f=pjson<\/PRE>
En esta URL estoy emitiendo una consulta a la capa '0' en un servicio llamado 'usa' servido desde el puerto 6080 en una mddquina llamada 'randall'.

No estoy usando operadores SQL reales (la cldusula where), ni estoy buscando un atributo especdfico (text). No me importa el ID del objeto ni el elemento tiempo. Me importa la geometrda donde se especifican mis valores XY. De hecho los dsnicos elementos que me importan en esta prueba son la referencia espacial (4326), la relacidd espacial (intersecciudn), los campos devueltos (* ya que quiero todos), y estoy enviando la geometrda como punto. Finalmente para esta prueba me gustardda que el servidor responda a las solicitudes enviadas en formato JSON.  Con eso en mente puedo truncar un poco la URL que analizardd para hacer mds manejable configurar la prueba con JMeter:http:\/localhost:6080\/ArcGIS\/rest\/services\/usa\/MapServer\/0\/query?&geometry\n=-149.54518800000%2C70.42196900010&geometryType=esriGeometryPoint&inSR=4269\n&spatialRel=esriSpatialRelIntersects&returnCountOnly=false&returnIdsOnly=\nfalse&returnGeometry=true&outFields=*&f=json<\/PRE>
Una vez recopilados estos valores predeterminados los pongo como entradas en mi proyecto JMeter:

<\/A>

Luego necesitardd configurar algunos usuarios simulados. Aunque tenemos los valores predeterminados configurados queremos probar con muchos valores diferentes - en otras palabras no queremos que nuestra aplicaciudn tome solo la misma solicitud repetidamente porque eso es demasiado fdcil. Es mejor si podemos probar con muchas muestras diferentes.  En JMeter esto se logra creando 'grupos dsd hilos'.

Haz clic derecho sobre el plan dsd prueba y selecciona 'Agregar', luego 'Hilos (Usuarios)'. En mi caso estamos simulando una carga dsd 16 usuarios por lo tanto cada grupo dsd hilos contendrdd 2 hilos. Quiero ver cuanta carga puede soportar mi aplicaciudn antes dsd fallar por lo tanto configuro esta prueba para ejecutarse indefinidamente.<\/>

Una vez configurados los grupos dsd hilos necesitaremos configurar las solicitudes reales las cuales contienen los valores predeterminados configurados anteriormente asdmd como las variables queds querems pasar en nuestras solicitudes Para ello haz clic derecho sobre un grupo dsd hilos selecciona Agregar Elemento Configuraciudn luego Predeterminados HTTP Request Esta pantalla deberda ser familiar exactamente igual a los predeterminados creados originalmente

En este caso el objetivo dsd prueba es ver cuanta carga puede manejar el servidor si se envdan cientos dsd miles dsd solicitudes dsd consulta para recopilar los atributos de una característica basándose en las coordenadas XY pasadas a través de la consulta.

Entonces, para cada solicitud enviada por JMeter, el único elemento de consulta que cambia de una solicitud a otra será la geometría del punto de entrada. Para ello, he compilado un archivo .CSV y configurado un elemento CSV Data Set Configuration en mi proyecto de prueba (Agregar>Elemento de configuración>Configuración de conjunto de datos CSV). Su fuente de datos no tiene que ser CSV, puede usar una tabla de base de datos si lo prefiere – use una conexión JDBC para eso.<\/A>

Según la figura anterior, mi archivo CSV se llama xycord.csv (tengo el CSV almacenado en la misma carpeta que mi plan de prueba – si el suyo está almacenado en otro lugar, configure el nombre del archivo con la ruta absoluta donde se encuentra.

Asegúrese de configurar correctamente los nombres de las variables – si hay espacios y comas en su archivo CSV; asegúrese de que este elemento refleje esos espacios. La delimitación por comas aquí solo separa los nombres de variables en el CSV – el delimitador real usado en el archivo CSV se describe en el parámetro 'Delimiter'. Como permito que mi prueba se ejecute hasta que yo la detenga, estoy reciclando las solicitudes y no detengo cuando JMeter detecta que se ha alcanzado el final del archivo.

Para mi prueba, he replicado cada parámetro de solicitud HTTP para cada uno de los usuarios que estoy simulando en los grupos de hilos que he configurado.

Ahora es momento de probar. Guarde el plan de prueba.

En JMeter, vaya a 'Run', luego 'Start'. Haga clic en uno de los informes.

Con suerte, sus solicitudes se ejecutarán. Si el porcentaje de error que obtiene es 100%, entonces probablemente esté enviando solicitudes incorrectas.

Puede examinar las solicitudes que está enviando al servidor trabajando con la herramienta Fiddler:

Si Fiddler está instalado en la misma máquina que JMeter, entonces en la página principal de valores predeterminados de solicitud HTTP, puede forzar que el tráfico pase a través del proxy Fiddler para que las solicitudes y respuestas subsecuentes sean capturadas. Por defecto, Fiddler escucha en el puerto 8888, así que puede configurar JMeter como sigue:<\/A>

Cuando inicie su ejecución de JMeter nuevamente, Fiddler capturará el tráfico, lo que le permitirá ver qué está pasando JMeter para que pueda hacer ajustes según sus necesidades.Algunos consejos<\/STRONG>

Use la menor cantidad posible de listeners. Para pruebas pequeñas, los contadores gráficos son geniales. Sin embargo, estos contadores consumen mucha memoria y he hecho que mi JVM se bloquee con pruebas más grandes al ejecutar con contadores. Yo solo uso el Summary Report – tiene la información que necesito.

Considere usar JMeter desde una interfaz de línea de comandos una vez que su configuración esté lista. La opción Command Line consume recursos mínimos.

Eso es todo por esta entrega. Seguiré con flujos adicionales de pruebas cuando pueda.Randall W. - Server Support Analyst<\/EM>



<\/BODY><\/HTML>

AndresCastillo

This is exactly the tool (also SoapUI) that we are using now to load test and debug some datastore crashes we are experiencing.

See related article:

https://community.esri.com/groups/technical-support/blog/2017/01/11/gauging-arcgis-gis-server-performance-with-integrated-windows-authentication 

Also, another tool that we use in case of a request failure:

https://community.esri.com/groups/technical-support/blog/2018/06/07/monitoring-web-service-requests-using-fiddler 

Also, Chrome Dev Tools>Network>export Har