Řiďte svůj ETL pomocí interakce s mapou a webových nástrojů

bharold

Existuje mnoho ETL úloh, které možná budete chtít <\/STRONG> spustit z vaší mapy<\/STRONG> a vzor, který v tomto blogu prozkoumáme, vám s tím pomůže.<\/P>Zde je jeden případ použití, spuštění ETL webového nástroje, který přijímá prvky oblasti z mapy jako vstup<\/STRONG>.  Tento webový nástroj vytváří mobilní geodatabázi, která je vrácena do mé relace Pro nebo widgetu analýzy Experience Builder jako lokální soubor, ale můžete ETL data odkudkoli kamkoli<\/STRONG>, v jakémkoli formátu.  Data nemusí být ve vaší mapě ani ve vašem projektu ArcGIS Pro.<\/STRONG><\/P>Spoiler<\/a>

(Zvýrazněte pro čtení)<\/noscript>

Všimněte si, že webový nástroj zobrazený zde nevrátí mobilní geodatabázi při spuštění v mapovém prohlížeči, nejprve by musel být zkomprimován.  To je jednoduché udělat s mobile geodatabase writerem, stačí zapisovat s příponou souboru .geodatabase.zip a ZIP soubor bude automaticky vytvořen.<\/div>

si o tom přečtěte zde<\/A>.  Když se nástroj spustí lokálně, tato cesta bude ve složce scratch projektu, a když je to webový nástroj, ve složce scratch úlohy.<\/P>

Nyní trochu cestování časem.  Představte si, že stavíte výše uvedený model a máte jen vstup FeatureSet a nástroj Features to JSON v modelu.  Uložte a spusťte ho a budete mít soubor esri.json ve své scratch složce.  Nyní postavte svůj ETL nástroj (vložený ve stejné toolbox jako model), který dělá to, co chcete na základě vstupu EsriJSON.  Tady je můj.<\/P>

ETL, který čte EsriJSON a dělá věci<\/span><\/span><\/P>Jak poznámka říká, čtečka EsriJSON (NB: s jediným vstupním vlastností cesty) přináší můj vstup z mapy, prvky jsou agregovány (chci jeden prvek, multiparty jsou OK) a pak projektovány podle potřeby v mém následném zpracování.  V mém případě výsledný prvek slouží jako iniciátor a prostorový filtr ve FeatureReaderu, který extrahuje některá data z Living Atlas a zapisuje je do mobilní geodatabáze s

dynamickým schématem<\/A>.  Je tu ale trik v cestách dat.<\/P>

Zde upravuji uživatelské parametry v ETL nástroji a horní je skriptovaný parametr SCRATCHFOLDER, který získává to, co používá ArcPy, buď lokálně v Pro nebo ve složce úlohy ve webovém nástroji.  Skriptované parametry jsou vyhodnoceny před jakýmkoli zpracováním dat.<\/P>

SCRATCHFOLDER skriptovaný parametr<\/span><\/span><\/P>Následující parametr je cesta k zdrojovému souboru EsriJSON, kterou poskytne model, ale abych si byl jistý, nastavil jsem výchozí cestu tak, aby používala skriptovaný parametr SCRATCHFOLDER.  Všimněte si, že musíte uložit stav parametru po přidání SCRATCHFOLDER a dialog znovu otevřít, abyste mohli hodnotu použít v jiných parametrech.<\/P>EsriJSON vstupní parametr<\/span><\/span><\/P>Nyní trik: výstupní mobilní geodatabáze je zapisována s oprávněním přepsání do scratch složky.<\/P>Výstup mobilní geodatabáze do scratch složky<\/span><\/span><\/P>Nyní zpět k modelu.  ETL nástroj je přidán a soubor EsriJSON připojen jako jeho vstup.  Výstup ETL nástroje je zapisován do %scratchFolder%\\Extract.geodatabase.<\/P>Zpět do budoucnosti<\\/span<\\/span<\\/P<PPosledním krokem je přidat Calculate Value modelový nástroj, který kopíruje výstupní cestu do nového parametru typu File.  To je nutné protože výstup musí být Derived pro webový nástroj k vrácení dat.  Ujistěte se, že výstup ETL nástroje není nastaven jako intermediate v ModelBuilderu nebo nedostanete žádný výstup!  Podívejte se na výraz Calculate Value, je nutné chránit cestu před interpretací jako obsahující escape znaky tím, že zajistíte její surový řetězec.<\\/P<P<span class=\lia-inline-image-display-wrapper lia-image-align-inline\ image-alt=\Calculate Value expression\ style=\width: 382px;\ >Výraz Calculate Value<\\/span<\\/span<\\/P<PPo několika lokálních testovacích bězích jsem měl výsledek, který jsem mohl sdílet jako webový nástroj a poté spustit.  Při sdílení webového nástroje jsem nastavil úroveň zpráv na Info abych mohl sledovat akci.  Použil jsem ArcGIS Enterprise 12.0 kompatibilní s ArcGIS Pro 3.6. Ujistěte se, že Data Interoperability je nainstalováno na vašem serveru a všechny <A title=\Install Credentials\ href=\https:\/\\enterprise.arcgis.com\\en\\data-interoperability\\11.1\\help\\share-spatial-etl-tools.htm\ target=\_blank\ rel=\noopener nofollow noreferrer\ >balíčky a přihlašovací údaje nainstalované<\\A> na serveru uživatelem arcgis service owner user<\\STRONG>.  Je dobrým zvykem otevřít fmeworkbench.exe jako arcgis service owner user<\\EM> (v instalaci Data Interoperability) na serveru a otestovat čtečky a zapisovače které budete používat.<\\/P<P<span class=\lia-inline-image-display-wrapper lia-image-align-inline\ image-alt=\Web tool results view\ style=\width: 999px;\ >Zobrazení výsledků webového nástroje<\\/span<\\/span<\\/P<PVe výpisu zpráv výše můžete vidět výstup zapsaný do scratch složky úlohy a také stažený lokálně do mé relace Pro:<\ style="width: 999px;">Data is returned

Nemám žádné asociace souborů pro .geodatabase soubory, ale mohu otevřít odkaz v Data Inspector:

Mobile geodatabase in Data Inspector

Nyní mám ETL webový nástroj, který mohu sdílet se svými kolegy!  Když už mluvíme o kolezích, jsem zavázán 

@SashaLockamy  za její pomoc při sestavování tohoto nástroje.

Pro přehlednost, kroky k vytvoření mého webového nástroje byly:

• Vytvořit model s parametrem vstupu FeatureSet, který zapisuje EsriJSON do %scratchFolder%\esri.json
• Uložit a spustit model pro vytvoření souboru esri.json
• Vytvořit vložený ETL nástroj v toolboxu modelu, který čte EsriJSON a provádí váš ETL
  • Pokud vracíte data, musí to být datový typ souboru, a...
  • Naprogramovat první parametr tak, aby vracel arcpy.env.scratchFolder
  • Zapsat požadovaný výstupní datový soubor do této složky
  • Otestovat ETL nástroj pomocí vašeho esri.json souboru
• Přidat ETL nástroj do modelu
• Připojit výstup EsriJSON jako vstup ETL nástroje
• Přidat nástroj Calculate Value pro přetypování výstupu ETL nástroje na File, Derived value
• Zajistit, že výstup ETL nástroje není mezistupeň
• Uložit a spustit model z toolboxu, ne z diagramu modelu
• Sdílet výsledek jako webový nástroj (nebo geoprocessing službu pokud používáte samostatný server)

Prosím, komentujte příspěvek se svými zkušenostmi.