Usando o ArcGIS Pro para Gerar Dados de Teste para Uso com Serviços de Mapa (Iniciante/Intermediário)

Aaron Lopez

O que é Test Data? <\/H1>Simplificando, test data é usado para conduzir um teste de desempenho ou carga solicitando diferentes áreas de interesse de um serviço de mapa ArcGIS Enterprise. Essas partes espaciais dos dados geralmente assumem a forma de pontos ou caixas delimitadoras (bboxes) e normalmente são armazenadas em um arquivo de texto simples ou, em alguns casos, em um banco de dados.<\/P>Artigos anteriores da Comunidade sobre Load Testing ArcGIS Enterprise com Apache JMeter focaram em estratégias para construir a lógica do teste e executar o teste. Os projetos de exemplo fornecidos nesses blogs incluíam test data na forma de arquivos CSV (valores separados por vírgula) em texto simples que eram diretamente usados nas requisições. Esses arquivos CSV continham itens como caixas delimitadoras e uma referência espacial correspondente para fornecer às requisições HTTP no teste as informações dos parâmetros. A cada iteração do teste, a próxima linha de dados é lida e então preenchida na requisição.<\/P><\/span><\/P> Para fins de demonstração, esse test data funcionou bem para solicitar diferentes escalas de mapa contra serviços como SampleWorldCities e NaturalEarth. No entanto, esses conjuntos de dados de teste são limitados para uso com outros serviços de mapa, pois as caixas delimitadoras pré-geradas foram criadas apenas para solicitar áreas de interesse ao redor do mundo em um nível alto. Se sua organização trabalha com dados em nível estadual, municipal ou da cidade, você vai querer ter test data que foque nessas áreas para maximizar o valor do load test. Em outras palavras, você quer test data em uma escala maior do mapa e que cubra uma área específica de interesse.<\/P>Gerar esses dados específicos para seus serviços ou seus dados espaciais torna-se uma parte crítica do processo para fazer um bom load test. Embora compor algumas geometrias manualmente para um teste simples seja certamente possível, as assinaturas das requisições se repetem rapidamente, resultando em padrões de escalabilidade distorcidos e não realistas. Um teste melhor é aquele que utiliza uma grande quantidade de geometrias aleatórias para pressionar o serviço de mapa e os recursos de hardware mais efetivamente.<\/P>Ferramentas para Criar Custom Load Data<\/H1>Felizmente, existe um conjunto de ferramentas recentemente lançadas para testes no ArcGIS Pro no GitHub que torna a tarefa de geração de dados extraordinariamente fácil. <\/P>O nome da utilidade é: Load Testing Tools<\/STRONG> e está disponível em: https:\/\/www.arcgis.com\/home\/item.html?id=b06ef175665a45d68f5796f321b56e61<\/A> <\/LI>Os exemplos neste Artigo foram baseados na versão 1.1 do conjunto de ferramentas<\/LI><\/UL><\/LI><\/UL>

Uma das minhas ferramentas favoritas do grupo é "Generate Bounding Boxes", que pode gerar rapidamente caixas delimitadoras pelo extent atual do mapa ou por um polígono selecionado. Ter a capacidade de passar um polígono específico é um recurso muito poderoso, pois as geometrias criadas podem ser filtradas apenas para sua área de interesse (por exemplo, País, Estado, Município ou Cidade). Os dados gerados podem ser validados visualmente (através das classes de feição separadas que são criadas) e usados diretamente em um Plano de Teste JMeter (via arquivos CSV que também são criados). Novamente, muito fácil... muito poderoso.<\/DIV>

Criando Custom Test Data<\/H1>Disponibilizando as Ferramentas no ArcGIS Pro<\/H2>Uma vez que o projeto load-testing-tools <\/STRONG> tenha sido baixado para sua máquina, coloque a pasta em um diretório acessível ou tornado acessível pelo ArcGIS Pro.<\/P>Por exemplo:<\/P>Coloque a pasta load-testing-tools em C:\Users\[username]\Documents\ArcGIS<\/LI>Use a Conexão Adicionar Pasta do Catálogo no ArcGIS Pro para listar o conteúdo desse diretório:<\/LI><\/UL><\/span><\/P>Usando Um Polígono Para Delimitar a Área de Interesse<\/H2>Neste projeto ArcGIS Pro, uma classe de feição poligonal (Estado dos EUA Indiana em rosa) foi adicionada ao Mapa para definir uma fronteira ao redor da área onde as caixas delimitadoras para as requisições no teste serão geradas.<\/P>O Sistema de Coordenadas Projetadas da classe Indiana é: WGS 1984 Web Mercator (auxiliary sphere)<\/EM>Seu WKID é: 3857<\/EM><\/LI><\/UL><\/LI>Como ponto de referência, o Basemap padrão (Mapa Topográfico Mundial) permanece no mapaO Sistema de Coordenadas Projetadas do Basemap também é: WGS 1984 Web Mercator (auxiliary sphere)<\/EM><\/LI><\/UL><\/LI><\/UL><\/span><\/P>Entradas da Ferramenta Generate Bounding Boxes<\/H2>Você pode iniciar a ferramenta Generate Bounding Boxes navegando pela pasta load-testing-tools na tela Catálogo do ArcGIS Pro. Expanda o Load Testing Tools.tbx<\/EM> e dê um duplo clique em Generate Bounding Boxes. A tela Geoprocessamento deve aparecer e ser semelhante à seguinte:<\/P><\/span><\/P>Uma das características convenientes da ferramenta Generate Bounding Boxes é que ela está tecnicamente pronta para usar apenas clicando em Executar! Com as opções padrão, ela irá gerar aleatoriamente caixas delimitadoras usando o extent atual do mapa no ArcGIS Pro. <\/SPAN><\/P>Aviso: As escalas padrão do mapa da ferramenta Generate Bounding Boxes são similares às do ArcGIS Online mas, por brevidade, apenas cada outra escala está listada. Se você precisar de escalas adicionais, elas podem ser adicionadas manualmente dentro da ferramenta.<\/STRONG><\/FONT><\/P>Embora isso torne a geração dos dados realmente fácil, neste exemplo estamos interessados em gerar caixas dentro de um polígono específico (Estado de Indiana). Também queremos ser muito específicos nas escalas do mapa que nosso teste usará, então vamos remover algumas escalas e adicionar outras pela interface da ferramenta.<\/SPAN><\/P>Pela ferramenta Generate Bounding Boxes:
Clique no X vermelho na frente dos valores 73957191, 18489298, 4622324, 1155581, 288895, 282, 70 para remover essas escalas do mapa<\/SPAN>No campo vazio sob a coluna Scale, adicione 36112 e use 100 na coluna Number of Records<\/SPAN>No campo vazio sob a coluna Scale, adicione 9028 e use 1000 na coluna Number of Records<\/SPAN>No campo vazio sob a coluna Scale, adicione 2257 e use 3000 na coluna Number of Records<\/SPAN>Aumente o Number of Records para 4514 para 1000 registros<\/SPAN>Aumente o Number of Records para 1128 para 3000 registros<\/SPAN> Clique no menu suspenso sob Polygon Layer e selecione a classe de feição desejada dentro do Mapa, neste caso Indiana<\/LI> Expanda Output Options<SPAN>Observe a localização do arquivo csv das caixas delimitadoras<\\/SPAN><SPAN><SPAN>Arquivos csv separados por escala também serão criados nesse local<\\/SPAN><\\/SPAN><\\/LI><\\/UL><\\/LI><LI><SPAN><SPAN>Selecione a opção "Output Separate Feature Class Per Scale"<\\/SPAN><\\/SPAN><\\/LI><\\/UL><\\/LI><\\/UL><P><span class=\"lia-inline-image-display-wrapper lia-image-align-center\" image-alt=\"arcgispro_outputoptions.png\" style=\"width: 489px;\"><img src=\"https:\/\ /us.v-cdn.net /6038851 /uploads /images /19606iCB0258F985820922 /arcgispro_outputoptions.png\ " role=\ "button \ " title= \ "arcgispro_outputoptions.png \ " alt= \ "arcgispro_outputoptions.png \ " /></span> role="button" title="arcgispro_outputoptions.png" alt="arcgispro_outputoptions.png" "/><\/span><\/P>Após a personalização, a entrada da ferramenta Generate Bounding Boxes deve ficar como a seguir ([username] refletiria seu nome de usuário do Windows):<\/LI><\/UL><\/span><\/P>Clique em ExecutarA execução da ferramenta pode levar alguns instantes<\/LI>A tela da Tabela de Conteúdos começará a ser preenchida adicionando classes de feição ao Mapa (uma por escala)<\/LI><\/UL><\/LI><\/UL>Visualizando os Dados Gerados das Classes de Feição Individuais<\/H2>Uma vez concluído, a saída dentro do ArcGIS Pro deve se parecer com o seguinte:<\/LI><\/UL><\/span><\/P>As classes de feição individuais facilitam a verificação de qualidade, pois é fácil ver as áreas de interesse que o teste estará criando a partir dos dados gerados<\/SPAN><\/LI><\/UL>Nota: Algumas das bounding boxes geradas podem ter partes de sua geometria que caem fora do polígono de interesse. Isso é aceitável.<\/STRONG><\/FONT><\/SPAN><\/P>Graças à visualização dos dados, também é fácil entender por que menos<\/EM> bounding boxes foram criadas para escalas de mapa menores como 1:72.224 e 1:36.112<\/LI>Da mesma forma, é por isso que mais<\/EM> bounding boxes foram criadas para escalas de mapa maiores como 1:2.257 e 1:1.128<\/LI><\/UL><\/span><\/P> Nota: Dependendo dos seus dados e sua densidade nas escalas maiores, pode ser vantajoso gerar mais de 3000 bounding boxes (por escala) para "cobrir mais área". Tenha em mente que alguns frameworks de teste de carga podem ler dados CSV na memória e criar conjuntos de dados extremamente grandes pode exigir mais memória do cliente de teste.<\/STRONG><\/FONT><\/P>Visualizando os Dados Gerados dos Arquivos CSV Individuais<\/H2>Usando o explorador do sistema de arquivos, navegue até o projeto ArcGIS Pro usado para gerar os dados:C:\Users\[username]\Documents\ArcGIS\Projects\MyProject1<\/LI><\/UL><\/LI>O conteúdo da pasta deve se parecer com o seguinte:<\/LI><\/UL><\/span><\/P>Abrir o conteúdo do arquivo bounding_boxes_2257.csv deve se assemelhar ao seguinte:<\/LI><\/UL><\/span><\/P>Esses dados funcionarão com a maioria das ferramentas de teste de carga que permitem a parametrização de requisições HTTP a partir de arquivos CSV<\/SPAN><\/LI><\/UL>Nota: A classe de feição usada como Camada Polígono para filtragem espacial pode utilizar Sistemas de Coordenadas Projetadas diferentes do WGS 1984 Web Mercator (auxiliary sphere)<\/EM>. No entanto, os dados CSV gerados ainda serão projetados em bounding boxes que possuem WKID 3857.<\/STRONG><\/FONT><\/P>Usando os Dados Gerados em um Plano de Teste Apache JMeter<\/H1>Com um procedimento para gerar dados espacialmente personalizados, você pode pegar os arquivos CSV e importá-los em um Plano de Teste Apache JMeter para usar em um teste de carga.<\/P>Os artigos anteriores sobre testes:<\/P>Usando Apache JMeter para Testar Carga em um Serviço Autenticado ArcGIS Enterprise (Intermediário/Avançado)<\/A><\/LI>Usando Dados Domínio Público para Benchmarking de um Serviço de Mapa ArcGIS Enterprise (Intermediário)<2FA>P>Fornecidos testes exemplo Apache JMeter que seriam bons modelos para usar com seus novos dados e contra seus serviços de mapa.<2FP>3CH2 id=22toc-hId--524860948223EConfiguração do Conjunto de Dados CSV3C/H23E3CP3EUsando o elemento Configuração do Conjunto de Dados CSV no JMeter, os novos dados gerados podem ser referenciados a partir do seu caminho no sistema de arquivos.3C/P3E3CUL3E3CLI3EO valor do caminho Filename refere-se à localização do arquivo CSV no disco3CUL3E3CLI3EC: /JMeter Tests/naturalearth1/datasets/bounding_boxes_288895.csv3CUL3E3CLI3EProjetos de teste exemplo dos artigos anteriores usaram variáveis para o caminho3CUL3E3CLI${ProjectFolder}/datasets/bounding_boxes_288895.csv3C/ LI>3C/ UL>3C/ LI>3C/ UL>3C/ LI>3C/ UL>3C/ LI>3CLI3EO Variable Names denota os cabeçalhos das colunas no arquivo CSV3CUL3E3CLI3E então se tornaria pois o teste pode estar usando outras escalas onde apenas "bbox" seria ambíguo<2FUL>3C/ LI>3C/ UL>3C/ LI>3C/ UL>3CP3E3Cimg src=22https://us.v-cdn.net/6038851/uploads/images/19706i8E8B8B979B051EBB/generated_test_data_csvdatasetconfig.png22 role=22button22 title=22generated_test_data_csvdatasetconfig.png22 alt=22generated_test_data_csvdatasetconfig.png22 /3E3C/span>3C/P>3CP3EOs elementos HTTP Request apontando para seu serviço de mapa podem então ser ajustados para utilizar variáveis como ${bbox_288895} <strong>que referenciam seus dados gerados.<P>P> <P> <P>A href=https://jmeter.apache.org/index.html" target=_blank" rel=noopener nofollow noreferrer"Apache JMeter lançado sob a   Apache, Apache JMeter, JMeter, a pena Apache e o logotipo Apache JMeter são marcas registradas da Apache Software Foundation.<

Aaron Lopez

A colleague provided an awesome and very helpful expansion to the capabilities of the load-testing-tools-main toolbox...

In its current form, the generate_bounding_boxes.py tool only creates extents in a spatial reference of 3857 (102100). Often, you want to generate bounding boxes using the same spatial reference as the data you want to test. In order to do this, use this updated generate_bounding_boxes.py generate_bounding_boxes.py file.

Directions:
* Assume an ArcGIS Pro project exists that is pointing to a local copy of load-testing-tools-main
* Download the generate_bounding_boxes.py file
* Drop into the load-testing-tools-main\scripts folder (replacing the existing generate_bounding_boxes.py file)
* Restart ArcGIS Pro to see the changes