Vzor ETL: Plánování webových nástrojů

bharold

Často ETL není jednorázové, opakování <\/STRONG>je potřeba k začlenění změn dat v čase.  Až do vydání ArcGIS Pro 3.4 a ArcGIS Enterprise 11.4 byly podporované vzory automatizace<\/STRONG> pro toto zahrnovaly ArcGIS Data Pipelines<\/STRONG> a plánované Notebooks <\/STRONG>nebo nástroje využívající plánovač úloh REST API<\/A>, ale nová možnost bez kódu, plánování webových nástrojů<\/A>, je dodávána v ArcGIS Pro 3.4 a ArcGIS Enterprise 11.4!<\/STRONG><\/P>

Můžete použít jakýkoli typ geoprocesního nástroje k vytvoření svého plánovaného webového nástroje - základní systémový nástroj, ModelBuilder nástroj, Python skriptový nástroj nebo Spatial ETL nástroj. <\/STRONG> Pro téma mého blogu používám ArcGIS Data Interoperability Spatial ETL nástroj, protože může zpracovat můj zdroj dat,

RSS<\/A> kanál, konkrétně Common Alerting Protocol<\/A> (CAP) kanál, jak ho zveřejňuje mnoho agentur po celém světě, včetně FEMA<\/A> v USA.  Moje CAP data jsou varování o počasí na Novém Zélandu<\/A>, aktualizovaná dvakrát denně.  Kanál nebude mít žádné položky, pokud je počasí dobré 😉<\/span>.  CAP je založen na XML, snadno zpracovatelný pomocí ArcGIS Data Interoperability<\/STRONG>.  Chci zrcadlit stav CAP kanálu do hostované vrstvy prvků v ArcGIS Online.<\/P>
Níže je ukázková mapa stavu varování v ArcGIS Pro, pro 9. října 2024.  Blog ke stažení obsahuje několik CAP alert XML dokumentů, pokud chcete vidět nějaká surová data.<\/P>
CAP Weather Alerts<\/span><\/span><\/P>
Jak naznačuje popisek, žlutý prvek je výstraha na silný vítr, modré čáry (při přiblížení oranžové polygony) jsou sněhová varování pro silnice přes některé horské průsmyky.  Pokud přiblížíme nejsevernější prvek, můžeme ho prohlédnout.  Je to Lewis Pass, který má podél trasy dva geotermální prameny s lázněmi, takže pokud vás sníh zpozdí, můžete si počkat v pohodlí!<\/P>
Snow alert through Lewis Pass<\/span><\/span><\/P>
Několik dní poté je výstraha na silný déšť:<\/P>
Fiordland rain watch<\/span><\/span><\/P>
Pro oblast přichází déšť pouze v jednom typu - silný - takže není překvapením, že předpověď upgradu varování ze stavu watch na warning (oranžová) se při další aktualizaci za 12 hodin potvrdila, plus dorazila nová varování:<\/P>
West Coast rain<\/span><\/span><\/P>
A další den - ještě více počasí!<\/P>
Yet more weather!<\\/span><\\/span><\\/P>
Pravidelné aktualizace jako tyto jsou klasickým případem pro plánovaný webový nástroj, ve skutečnosti tak byla data pro mě přes noc aktualizována.  Jak takové ETL vypadá?<\\P>
Můj datový tok udržuje hostovanou vrstvu prvků v ArcGIS Online z aktuálního stavu CAP.  Můj ETL nástroj je poměrně jednoduchý, zde je (také v blogovém stažení, vyžaduje ArcGIS Data Interoperability pro Pro 3.4 a ArcGIS Enterprise 11.4 pokud je sdílen jako webový nástroj).<\\P>
CAP alert ETL tool<\\/span><\\/span><\\/P>
Nejprve je generován token (pomocí EsriOnlineTokengetter<\\/A>, pro lokální portál byste použili EsriPortalTokenGetter<\\/A>), pak horní tok čte RSS kanál a zapisuje upsert<\\/STRONG> transakci do cílové vrstvy prvků - jakákoli nová varování se stanou novými prvky a jakékoli změny dat u existujících prvků jsou aplikovány.  Podpora upsert vyžaduje, aby data měla unikátně indexované nenulové pole ve vrstvě, jak bylo diskutováno v dřívějším blogu<\\/A>.  Dolní tok testuje vypršená varování a maže je.  Všimněte si, že ETL nástroj nemá parametry, protože vstupní RSS kanál a výstupní vrstva prvků se nemění a mohou být nastaveny jako nepublikované při tvorbě.<\\/P>

Zde ukazuji nový,<\\/STRONG> doporučený<\\/STRONG> ETL vzor<\\/STRONG><\\/EM> pro údržbu hostovaných vrstev prvků, konkrétně generování portálového tokenu uvnitř ETL nástroje místo

sdílení webových připojení<\\/A> k hostingovému serveru, což je nepohodlný krok, kterému se můžeme vyhnout.  Cílová služba prvků je čtena a zapisována pomocí formátu Esri ArcGIS Server Feature Service<\\/STRONG> a dodaného tokenu s volbou ověření SSL certifikátů nezaškrtnuto<\\/STRONG>.  Pokud to vaše bezpečnostní požadavky vyžadují, budete muset dodat důvěryhodný certifikát.<\\/P>
Po spuštění mého ETL nástroje lokálně v ArcGIS Pro mohu sdílet výsledek historie jako webový nástroj<\\/A> a naplánovat ho.  Při plánování je potřeba trochu počítat.  CAP kanál je aktualizován do 9:00 a 21:00 „místního času“, což při psaní znamená NZDT nebo UTC+13.  Můj Pro počítač má aktuálně PDT, což je UTC-7, takže abych spustil svůj plán při dalším dostupném dvanáctihodinovém slotu, 9:00 NZDT, vypočítám to jako 20:00 UTC nebo 13:00 PDT.<\\/P>

<\/P>\nNyní vás nic nebrání v automatizaci vašeho ETL!<\/STRONG><\/P>\n <\/P>

bharold

@AdamRepsher_BentEar There is some problem with the token getting, if you copy the transformer into a new workspace and try out the Python it might give a clue. Once you establish generateToken isn't working you could open a support call.