Webserviceverzoeken monitoren met Fiddler

AlanRex1

<\/HEAD>

In een eerdere blogpost<\/A> besprak mijn gewaardeerde collega en bordspelrivaal Kelly Gerrow-Wilcox de basisprincipes van het vastleggen van webverkeer in een webbrowser met behulp van de ingebouwde browserontwikkelaarstools.  Maar hoe zit het als je services gebruikt in ArcGIS Pro, ArcMap of een andere niet-browser client?  Hier komen: web traffic capturing tools in beeld.  Er zijn tal van gratis tools (zoals Fiddler<\/A>, Wireshark<\/A>, Charles<\/A> en anderen) waarmee gebruikers webverkeer van hun computers kunnen vastleggen.  Deze blog richt zich op het vastleggen van HTTP\/HTTPS-verkeer met Fiddler.  Ik heb voor Fiddler gekozen vanwege de relatief eenvoudige interface en brede adoptie binnen Esri Technical Support. <\/P>

<\/P>

<\/P>

Basisprincipes: downloaden, configuratie en lay-out<\/STRONG><\/H2>Fiddler kan hier<\/A> worden gedownload.  Na installatie is de enige kritieke configuratie die moet plaatsvinden het inschakelen van het vastleggen van verkeer via HTTPS.<\/P>

1. Open Fiddler en ga naar Tools > Options<\/LI>
2. Vink in het geopende paneel Capture HTTPS CONNTECTs<\/STRONG> en Decrypt HTTPS traffic<\/STRONG> aan. (Dit stelt je in staat om alle verzoeken die via HTTPS worden verzonden vast te leggen, wat langzaam maar zeker HTTP vervangt als protocol voor gegevensoverdracht over het web). <\/LI><\/OL><\/P><\/P><\/P><\/P><\/P>Als het nodig is om netwerkverkeer van een mobiel apparaat vast te leggen, is extra configuratie vereist.  Zowel het mobiele apparaat als de machine waarop Fiddler is geïnstalleerd moeten hetzelfde wifi-netwerk gebruiken.  De volgende documenten beschrijven de stappen om mobiel verkeer vast te leggen:<\/P>

http:\/\/docs.telerik.com\/fiddler\/Configure-Fiddler\/Tasks\/ConfigureForiOS<\/A><\/LI>http:\/\/docs.telerik.com\/fiddler\/Configure-Fiddler\/Tasks\/ConfigureForAndroid<\/A><\/LI>http:\/\/docs.telerik.com\/fiddler\/Configure-Fiddler\/Tasks\/MonitorWindowsPhone7<\/A><\/LI><\/UL><\/PRE>

<\/P>

De Fiddler-applicatie zelf is verdeeld in twee hoofdsecties; de Web Sessions-lijst<\strong> en het... andere paneel (ik kon geen officiële naam vinden, dus voor deze blog noemen we het het Details-paneel<\strong>). <\p>

The Web Sessions-paneel bevat een opeenvolgende lijst van elk verzoek dat door de client naar een webserver is verzonden.  Belangrijke informatie hier omvat:<\p>

• Het type protocol dat wordt gebruikt (HTTP of HTTPS)<\li>Welke server het verzoek heeft ontvangen en de volledige URL<\li>De HTTP/HTTPS-responscode (

hier is een beschrijving van wat deze betekenen)<\li>De grootte van de body van de respons (in bytes)<\li>Het contenttype (afbeelding, tekst, enz.)<\ul> Opmerking: de kolommen in het Web Sessions-paneel kunnen worden aangepast door met de rechtermuisknop ergens in de kopteksten te klikken en Aanpassen kolommen te selecteren.  Enkele nuttige velden om in te schakelen zijn:Totaal verstreken tijd (beschikbaar onder Collectie: Sessietimers. Dit is de totale tijd die nodig is om het verzoek te verzenden en terug te ontvangen)ClientBeginRequest (beschikbaar onder Collectie: Sessietimers. Dit is het moment waarop je software begon met het verzenden van het verzoek, volgens de tijd van je computer)X -HostIP (Selecteer Collectie: Sessievlaggen en voer handmatig de Headernaam in. Dit is het IP-adres van de serverbestemming van het verzoek) Als je op een enkele websessie klikt, vult dat het Details-paneel met allerlei informatie over dat specifieke verzoek.    black;"> <\/SPAN>JSON<\/STRONG><\/SPAN> 1 Als het verzoek\/antwoord inhoud in JSON-formaat bevat, toont dit tabblad de inhoud in een meer menselijk leesbaar formaat. Dit is vooral nuttig voor verzoeken\/antwoorden aan de REST api van ArcGIS Enterprise-servers.<\/SPAN><\/LI> <\/SPAN>XML<\/STRONG><\/SPAN> 1 Als het verzoek\/antwoord inhoud in XML-formaat bevat, toont dit tabblad de inhoud in een meer menselijk leesbaar formaat. Dit is vooral nuttig voor verzoeken\/antwoorden aan OGC-diensten.<\/SPAN><\/LI><\/UL><\/P><\/P>Geavanceerd: Dat is geweldig Alan.  Maar wat moet ik eigenlijk met deze informatie doen? <\/STRONG><\/SPAN><\/H2>H<\/SPAN>oe je netwerkverkeersinformatie gebruikt, hangt af van wat je probeert te leren of op te lossen.  Het controleren van netwerkverkeer kan helpen bij het identificeren van waar en wat het probleem is, maar kan je niet vertellen wat de oplossing is.  Hier komt je kennis van je app, je webservices en als alles faalt, wat ouderwets webzoeken om de hoek kijken.  Hier zijn een paar veelvoorkomende voorbeelden van manieren om het probleem dat je tegenkomt te isoleren:<\/SPAN><\/P> <\/SPAN><\/P> <\/SPAN>Controleer de HTTP\/HTTPS-responscode in het Web Sessions-paneel. Alles wat geen 200 is, moet worden onderzocht (het hoeft niet per se een probleem te zijn, maar het is de moeite waard om te bekijken).  Nogmaals, <\/SPAN>hier is een beschrijving van wat deze betekenen<\/A>.  Zelfs een 200-respons kan foutmeldingen of andere nuttige informatie bevatten.<\/SPAN>Een 304-respons van een server zal de client (webbrowser, ArcMap, enz.) ertoe aanzetten om de cache van de client te gebruiken en Fiddler legt daarom niet daadwerkelijk een volledige respons van de server vast. Als er een 304-respons is op een kritisch belangrijke aanvraag, probeer het dan opnieuw in Incognito-modus of maak de cache van je client leeg. <\/LI> <\/SPAN>Een 401- of 403-respons betekent meestal dat de server enige vorm van authenticatie vereist. Dit zou bijvoorbeeld kunnen helpen bij het identificeren van een niet-gedeelde feature service in een webmap die openbaar gedeeld wordt.  <\/SPAN><\/LI> <\/SPAN>Een 504-respons betekent meestal dat iets is verlopen. Gebruik dit samen met de Timeline<\/STRONG>, Statistics<\/STRONG> en Overall Elapsed<\/STRONG>-kolom hierboven genoemd om prestatieproblemen op te lossen.

<\/SPAN><\/LI><\/UL><\/LI> <\/SPAN>Als je het problematische verzoek niet kunt vinden, open dan de Raw-, JSON- of XML-tabbladen van de respons en scroll gewoon door de verzoeken op zoek naar één die een fout retourneert. <\/SPAN> <\/SPAN>Raw, JSON en XML bevatten exact dezelfde informatie, alleen anders geformatteerd.<\/SPAN><\/LI> <\/SPAN>Wanneer fouten optreden, kan de fout die in de respons wordt vermeld gedetailleerder zijn dan de fout die wordt weergegeven in de gebruikersinterface van welke applicatie dan ook die werd gebruikt. <\/SPAN><\/LI><\/UL><\/LI><\/UL><\/SPAN><\/P>Vind een manier om irrelevante verzoeken te negeren!!<\/STRONG>Een van de meest uitdagende factoren bij het oplossen van netwerkverkeer is het volume aan verzoeken dat wordt verzonden\/_en ontvangen voor zelfs kleine acties. Hieronder staan strategie8n om te voorkomen dat je log wordt volgepropt met onnodige verzoeken.Zet Capture uit (Bestand > vink Capture Traffic uit) wanneer je weet dat Fiddler geen relevante informatie vastlegt.<\/LI>Sluit alle browservensters of achtergrondprocessen die niet hoeven te draaien.<\/LI>Als Fiddler verkeer vastlegt waarvan je weet dat het niet gerelateerd is aan wat je onderzoekt, filter het dan uit de Web Sessions door met rechts op een sessie te klikken > Filter > selecteer welk sessieparameter je wilt filteren.<\/LI>Als je een aantal verzoeken hebt vastgelegd waarvan je weet dat je ze niet nodig hebt, selecteer ze en verwijder ze.<\/LI>Richt Fiddler alleen op het vastleggen van verzoeken van een enkele applicatie door op de knop 'Any Process' te klikken (naast het kleine bullseye-pictogram), houd ingedrukt en laat dan los over de applicatie waarvan je wilt vastleggen. Dit zou bijvoorbeeld nuttig zijn om al het verkeer vanuit ArcMap vast te leggen terwijl alles wat met je browsers gebeurt wordt genegeerd. <\/LI><\/UL><\/LI><\/UL>   Zodra u het relevante verzoek(en) hebt geïsoleerd voor het probleem dat u onderzoekt, kunnen de volgende tips helpen bepalen wat het werkelijke probleem is.
Als u het problematische verzoek kunt isoleren, overweeg dan wat de aard van dat verzoek is om eventuele volgende stappen te bepalen. Is het een verzoek om basismetadata van de service? (bijv. https://sampleserver6.arcgisonline.com/arcgis/rest/services/SampleWorldCities/MapServer?f=json) Dat zou impliceren dat er een probleem is met de service (of server) zelf.  Reageert de service goed, maar faalt één enkele query-, tegel- of jobaanvraag? (bijv. http://sampleserver6.arcgisonline.com/arcgis/rest/services/SampleWorldCities/MapServer/export?dpi=96&amp;transparent=true&amp;) Dat zou impliceren dat er een probleem is met de gegevens, of misschien met de parameters van het specifieke verzoek dat wordt ingediend.  Mislukken ALLE verzoeken aan de service? Misschien is de hele server uitgevallen of ontoegankelijk.    Het is mogelijk om elk verzoek opnieuw te verzenden door met rechts op een Web Session te klikken > Replay > Reissue and Edit. Dit is vooral handig om een specifieke header of requestparameter te isoleren die problematisch kan zijn. Wijzig de informatie onder WebForms of Headers om te zien of dat het probleem oplost waar u tegenaan loopt of het probleem reproduceert dat u onderzoekt. Als u een verzoek heeft dat slaagt en één dat faalt, kopieer dan één voor één de headers of WebForms-parameters van het werkende verzoek naar het falende verzoek. Zodra het verzoek werkt, heeft u succesvol de parameter/header geïsoleerd in het verzoek die het probleem veroorzaakt. Het is mogelijk om herhaalde verzoeken te verzenden door met rechts op een Web Session te klikken > Replay > Reissue Sequentially. Dit is handig voor het vastleggen van problemen die mogelijk intermitterend zijn. Verstuur het verzoek automatisch 20 of 30 keer en kijk of u het probleem vindt waarnaar u zoekt. Webservice query-verzoeken kunnen worden bekeken in de browser met een gebruiksvriendelijke interface. Dit stelt u in staat eenvoudig verzoeken aan te passen en opnieuw te verzenden.                                              
Om een query-verzoek in de browser weer te geven:


Klik met rechts op de query-sessie
Kopieer > Kopieer URL
Plaats in een browservenster
Wijzig het gedeelte in de URL "3f=json3..."3 naar "3f=html3..."3
Klik op enter om naar de pagina te gaan

 
Fiddler en andere netwerkcaptursoftware zijn geen wondermiddelen om alles op te lossen webverkeer gerelateerde GIS-problemen, maar ze zijn nuttige hulpmiddelen om te helpen.  Met een beetje oefening kan het gebruik van dit type software helpen bij het oplossen van een breed scala aan problemen bij het openen van webservices in GIS-toepassingen. 

Heb je goede Fiddler (of algemene netwerkverkeerslogboek) tips?  Voel je vrij om ze achter te laten in de reacties!<\/P><\/BODY><\/HTML>

RuiMenezes

Hi Alan

Thank you very much for your inputs.

I believe it is an IT "situation" but I want to gather as much info as possible.

I'm using fiddler to troubleshoot ArcGIS Pro so let's see how it goes.

Once again, thank you very much!

Cheers, 

Rui