Pokročilý webový nástroj ETL s interoperabilitou dat

bharold

Tento příspěvek se zabývá využitím ArcGIS Enterprise 10.8.1 s rozšířením ArcGIS Data Interoperability pro sdílení Spatial ETL webových nástrojů ve vaší organizaci.  'pokročilý' aspekt spočívá v tom, že budeme přesouvat data pomocí webového připojení na webovou platformu umožněnou FME balíčkem, navíc přidáme krok s oznámením přes webhook pro zábavu.<\/P>

 <\/P>

Ve svém technickém workshopu na vyžádání pro UC 2020<\/A> jsem ukázal, jak vytvořit webový nástroj, který provádí konverzi formátu pomocí webové služby, což je klasický případ použití Data Interoperability v kombinaci se sdílecí silou ArcGIS Enterprise.  Data Interoperability se však posunulo od pouhé výrobny formátů k obecnému řešení pro integraci bez kódu napříč webem, takže v tomto příspěvku ukážu, jak postavit webový nástroj, který zpracovává nativní data do webové platformy.  Čtu například data z tabulky XY událostí v Microsoft Access a zapisuji je do hostovaných prvků ArcGIS Online, ale mezi řádky pochopte, že data mohou stejně snadno směřovat na jakoukoli cloudovou platformu nebo aplikaci.  V jistém smyslu je přesun dat na web lepší volbou pro Spatial ETL nástroje, protože FME čtečky a zapisovače pracují s kontejnery nebo pracovními prostory, například geodatabází, což není platný výstupní parametr geoprocesní služby, který lze vrátit klientovi.  Lze to provést například zabalením výstupů souborové geodatabáze do zipu, ale pokud máte k dispozici webovou platformu, použijte ji – data jsou na webu užitečnější než jako lokální soubory.<\/P>

 <\/P>

Webové nástroje jsou nový název pro geoprocesní služby.  Původní postup publikování geoprocesních služeb pomocí položky historie a administrativního připojení k samostatnému serveru je stále dostupný v ArcGIS Pro 2.6, ale ukážu nový přístup sdílení webového nástroje do portálu.  Sdílíte Spatial ETL nástroj jako webový nástroj z položky historie stejně jako jakýkoli jiný nástroj, ale se dvěma zvláštními úvahami:<\/P>

 <\/P>

• Zdrojem Spatial ETL musí být vložený FME pracovní prostor a nesmí být externí k nástroji<\/LI>
  
• Vstupní parametry by měly být definovány jako jednoduché typy jako Název souboru (Existující), Text nebo Výběr<\/LI>
  <\/UL>

   <\/P>
  

  První podmínka pomáhá při balení nástroje v době publikace, druhá udržuje chování parametrů finálního publikovaného nástroje jednoduché.  Možná budete muset svůj ETL nástroj při tvorbě přepracovat, abyste těchto zjednodušení dosáhli.  Například zde ukazuji předchozí a upravené verze vstupního parametru Microsoft Access.  Výchozí konfigurace umožňuje vybrat více souborů s širokým výběrem přípon souborů, moje požadované chování je jeden soubor pouze s příponami .mdb a .accdb.<\/P>
  

   <\/P>
  

  Výchozí parametr čtečky Access databáze<\/STRONG><\/P>
  <\/P>
   <\/P>
  Upravený parametr čtečky Access databáze<\/STRONG><\/P>
  <\/P>
   <\/P>
   <\/P>
  Koncepčně a graficky je můj ETL nástroj jednoduchý.  Můj scénář je takový, že pracuji pro Fako Mining, kteří plánují vrtání pomocí aplikace Access a zaznamenávají polohy vrtů jako zeměpisnou šířku a délku v tabulce.  Klikněte pro rozbalení snímku obrazovky níže nebo upravte nástroj extrahovaný z přílohy blogu.  Tok dat je:<\/P>
   <\/P>
  
  Přečíst tabulku databáze Access obsahující pole hodnot XY<\/LI>
  Zapsat (nebo nahradit) hostovanou vrstvu bodových prvků v ArcGIS Online<\/LI>
  Spustit webhook, který upozorní kanál Microsoft Teams na dostupnost nových dat<\/LI>
  <\/UL>
   <\/P>
  Ve workspace jsou tři záložky: v modré se maže existující feature service (vytvářím služby pojmenované podle data zpracování), ve zelené se čtou data z Access a převádějí na bodovou feature class ve zzipované souborové geodatabázi a v béžové se souborová geodatabáze publikuje a sdílí do skupiny a nakonec odesílá webhook.  Koncept je takový, že členové Online jsou členy kanálu Teams a budou upozorněni na dostupnost dat.  Při prohlížení workspace si promyslete, kolik kódu by to stálo napsat ručně...<\/P>
   <\/P>
  <\/P>
   <\/P>
  Klíčovou funkcí je transformátor ArcGISOnlineConnector , který provádí publikování a sdílení zzipované souborové geodatabáze.  Je to FME Hub download, který musí být nasazen na serveru, navíc používá web connection, která také musí být nasazena na serveru.<\/P>
   <\/P>
  Nejprve nastavte svůj server.  Nainstalujte a licencujte ArcGIS Data Interoperability for Server, ujistěte se, že váš server je federován s portálem, generujte a importujte certifikáty pro portál i server atd.  Nenainstalujte ArcGIS Data Interoperability for Pro na váš server, dojde k chybám licence a nástrojů.<\/P>
   <\/P>
  Až budete mít Data Interoperability nainstalované, přihlaste se na server jako místní uživatel účtu ArcGIS Service (výchozí jméno je 'arcgis') a ověřte, že můžete otevřít aplikaci Workbench na této cestě:<\/P>
   <\/P>
  C:\\Program Files\\ESRI\\Data Interoperability\\Data Interoperability AO11\\fmeworkbench.exe<\/STRONG><\/P>
   <\/P>
  Při přihlášení na server jako arcgis vytvořte sdílenou složku s níže uvedenou cestou a dejte plnou kontrolu doménovému uživateli (pravděpodobně vám), který bude publikovat webový nástroj a vlastní web connection používané v ArcGISOnlineConnector.<\/P>
   <\/P>
  \\<název_stroje>\\Users\\arcgis\\AppData\\Roaming\\Safe Software\\FME<\/STRONG><\/P>
   <\/P>
  Z autorského počítače a jako autor publikace otevřete tuto sdílenou složku.  Takto to vypadá na mém notebooku:<\/P>
   <\/P>
  <\/P>
   <\/P>
  Nevšímejte si toho, že soubory ve vaší sdílené složce jsou jiné než mé – brzy se srovnáme.<\/P>
   <\/P>
  Nyní nasadíme FME Package pro ArcGISOnlineConnector a web connection používané tímto balíčkem na server.  Stáhněte si aktuální verzi balíčku do sdílené složky.  Stále z autorského počítače otevřete Workbench a poté dialog FME Tools v pohledu Default Paths.  Poznamenejte si (zapište si!) adresář profilu pro Data Path,, což je složka, kde jsou uložena webová připojení.  Následně ji dočasně změníte.<\/P>
   <\/P>
  <\/P>
   <\/P>
  Jedním ze způsobů, jak sdílet webová a databázová připojení, je že vlastník zkopíruje soubory fme_connections.data a fme_publicKey.jceks ze složky Data Path do sdílené složky (v našem případě výše uvedené sdílení, které je také výchozím umístěním pro ukládání webových připojení uživatelem arcgis) , přesměruje Data Path, aby používal nové umístění, otevře pohled Web Connections ve FME Tools a vybere webová připojení k veřejné dostupnosti.  Poté obnovíte původní výchozí Data Path pro autora.  Uživatel serveru arcgis musí mít právo zápisu do těchto dat.  Pokud váš server není ve vaší síti, může být jednodušší použít export/import metodu pro sdílení pověření.
  
  

   
  

  Nyní jako uživatel arcgis, přihlášený na serveru, otevřete Workbench z výše uvedené cesty a přetáhněte soubor safe.esri-agol-1.1.4.fpkg (verze se může změnit) ze sdílené složky na cestě C:\Users\arcgis\AppData\Roaming\Safe Software\FME do plátna pro instalaci.  Zkontrolujte prosím FME Nástroje>Web Connections<\/STRONG> zobrazuje webové připojení k ArcGIS Online.  Vytvořte testovací pracovní prostor, který vytvoří webové připojení a použije ArcGISOnlineConnector k vypsání obsahu složky s obsahem - blogový download obsahuje příklad TestWebConnection.fmw<\/STRONG>.  Pokud vše funguje, server je připraven k akci!<\/P>
  <P> <\/P>
  <P>Spusťte svůj Spatial ETL nástroj jako nástroj, aby se vytvořila položka historie.  Poté klikněte pravým tlačítkem na položku historie a sdílejte ji jako webový nástroj.  Toto jsou mé zkušenosti:<\/P>
  <P> <\/P>
  <P><IMG style="display: block; margin-left: auto; margin-right: auto;" class="j-img-centered jive-image image-8" src="https:\/\/us.v-cdn.net\/6038851\/uploads\/legacyfs\/online\/503874_pastedImage_6.png" border="0" \/><\/P>
  <P> <\/P>
  <P>Povolte nahrávání, nastavte asynchronní režim, nastavte úroveň zprávy Info<\/STRONG>, toto zobrazí zprávy o zpracování pracovního prostoru.<\/P>
  <P> <\/P>
  <P><IMG style="display: block; margin-left: auto; margin-right: auto;" class="image-9 j-img-centered jive-image" src="https:\/\/us.v-cdn.net\/6038851\/uploads\/legacyfs\/online\/503875_pastedImage_7.png" border="0" \/><\/P>
  <P> <\/P>
  <P>Nezapomeňte upravit parametr(y) nástroje - klikněte na ikonu pera.  Možná to budete muset udělat dvakrát, aby to "drželo".<\/P>
  <P> <\/P>
  <P><IMG style="display: block; margin-left: auto; margin-right: auto;" class="j-img-centered jive-image image-10" src="https:\/\/us.v-cdn.net\/6038851\/uploads\/legacyfs\/online\/503876_pastedImage_8.png" border="0" \/><\/P>
  <P> <\/P>
  <P>Bude analyzovat s varováním, což je normální u Spatial ETL nástrojů.<\/P>
  <P> <\/P>
  <P><IMG style="display: block; margin-left: auto; margin-right: auto;" class="image-11 j-img-centered jive-image" src="https:\/\/us.v-cdn.net\/6038851\/uploads\/legacyfs\/online\/503878_pastedImage_9.png" border="0" \/><\/P>
  <P> <\/P>
  <P>Po publikování webového nástroje otevřete panel Katalog v obsahu portálu a spusťte svůj nástroj.  Můj vyvolá varování týkající se zpracování některých souřadnicových systémů, ale beru to jako vítězství.  Podle návrhu nejsou žádné prvky zobrazeny jako výstup, protože v pracovním prostoru není žádný writer, moje data šla do ArcGIS Online díky ArcGISOnlineConnector.  Protokol ukazuje, že mezistupeň zpracování fungoval podle očekávání.</P>
  <p> </p>
  <p><img style="display: block;margin-left:auto;margin-right:auto" class="image-12 j-img-centered jive-image" src="https://us.v-cdn.net/6038851/uploads/legacyfs/online/503960_pastedImage_1.png" border="0" /></p>
  <p> </p>
  <p>Teams mi ukazuje spuštění webhooku, což je poslední část zpracování webového nástroje, a dává mi URL služby, takže něco tam je....  Podívejte se, co je v transformátoru HTTPCaller, abyste viděli, jak jsem dostal obrázek do webhook payloadu (je to veřejný obrázek v Online).</p>
   

  <img style="display:block;margin-left:auto;margin-right:auto" class="j-img-centered jive-image image-14" src="https://us.v-cdn.net/6038851/uploads/legacyfs/online/503962_pastedImage_3.png" border="0" />

   

  Bingo, moje data se načítají do mé mapy!</p>
  

   

  <img style="display:block;margin-left:auto;margin-right:auto" class="image-13 j-img-centered jive-image" src="https://us.v-cdn.net/6038851/uploads/legacyfs/online/503961_pastedImage_2.png" border="0" />

   

  Takže to je celý okruh, mám webový nástroj, který může kdokoli v mé organizaci použít k publikování hostovaných vrstev prvků z tabulky Access databáze s přidaným prvkem automatizovaných oznámení.</p>