ETL-Muster: Planung von Web-Tools

bharold

Oft ist ETL kein einmaliger Vorgang, Wiederholung <\/STRONG>ist erforderlich, um Datenänderungen im Laufe der Zeit zu berücksichtigen.  Bis zu den Versionen ArcGIS Pro 3.4 und ArcGIS Enterprise 11.4 umfassten die unterstützten Automatisierungsmuster<\/STRONG> hierfür ArcGIS Data Pipelines<\/STRONG> und geplante Notebooks <\/STRONG> oder Werkzeuge, die den REST API Task Scheduler<\/A> verwenden, aber eine neue No-Code-Option, Web Tool Scheduling<\/A>, wird in ArcGIS Pro 3.4 und ArcGIS Enterprise 11.4 bereitgestellt!<\/STRONG><\/P>

Sie können jeden Typ von Geoverarbeitungswerkzeug verwenden, um Ihr geplantes Web Tool zu erstellen – Kernsystemwerkzeug, ModelBuilder-Werkzeug, Python-Skriptwerkzeug oder Spatial ETL-Werkzeug. <\/STRONG> Für mein Blogthema verwende ich ein ArcGIS Data Interoperability Spatial ETL-Werkzeug, da es meine Quelldaten, einen

RSS<\/A>-Feed, speziell einen Common Alerting Protocol<\/A> (CAP)-Feed, wie er von vielen Agenturen weltweit veröffentlicht wird, einschließlich FEMA<\/A> in den USA, verarbeiten kann.  Meine CAP-Daten sind Wetterwarnungen in Neuseeland<\/A>, die zweimal täglich aktualisiert werden.  Der Feed enthält keine Einträge, wenn das Wetter gut ist 😉<\/span>.  CAP basiert auf XML und wird von ArcGIS Data Interoperability<\/STRONG> problemlos verarbeitet.  Ich möchte den Status des CAP-Feeds in einem gehosteten Feature-Layer in ArcGIS Online spiegeln.<\/P>
Unten sehen Sie eine Beispielkarte mit Alarmstatus in ArcGIS Pro für den 9. Oktober 2024.  Der Blog-Download enthält einige CAP-Alarm-XML-Dokumente, falls Sie Rohdaten sehen möchten.<\/P>
CAP Weather Alerts<\/span><\/span><\/P>
Wie die Beschriftung andeutet, ist das gelbe Feature eine Warnung vor starkem Wind, die blauen Linien (vergrößert orangefarbene Polygone) sind Schneewarnungen für Straßen durch einige Gebirgspässe.  Wenn wir zum nördlichsten Feature hereinzoomen, können wir es genauer betrachten.  Es ist der Lewis Pass, der zwei geothermische Quellenresorts entlang der Route hat. Wenn Sie also durch Schnee aufgehalten werden, können Sie dort komfortabel warten!<\/P>
Snow alert through Lewis Pass<\/span><\/span><\/P>
Einige Tage später gibt es eine Warnung vor starkem Regen:<\/P>
Fiordland rain watch<\/span><\/span><\/P>
Für das Gebiet gibt es nur eine Art von Regen – stark –, daher ist es keine Überraschung, dass die Vorhersage einer Alarmaufstufung von Watch zu Warning (orange) beim nächsten Update in 12 Stunden wahr wurde und einige neue Alarme hinzukamen:<\/P>
West Coast rain<\/span><\/span><\/P>
Und am nächsten Tag – noch mehr Wetter!<\/P>
Yet more weather!<\/span><\/span><\/P>
Regelmäßige Updates wie dieses sind ein klassischer Anwendungsfall für ein geplantes Web Tool; tatsächlich wurden die Daten so über Nacht für mich aktualisiert.  Wie sieht dieses ETL aus? <\/> Mein Datenfluss pflegt einen gehosteten Feature-Layer in ArcGIS Online basierend auf dem aktuellen CAP-Status.  Mein ETL-Werkzeug ist recht einfach, hier ist es (auch im Blog-Download enthalten, erfordert ArcGIS Data Interoperability für Pro 3.4 und ArcGIS Enterprise 11.4 bei Freigabe als Web Tool).<\/> CAP alert ETL tool<\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/><\/> unendlich laufen und eine gehostete Feature-Layer aufrechterhalten!<\/STRONG><\/P>\nJetzt steht Ihnen nichts mehr im Weg, Ihren ETL zu automatisieren!<\/STRONG><\/P>\n <\/P>

bharold

@AdamRepsher_BentEar There is some problem with the token getting, if you copy the transformer into a new workspace and try out the Python it might give a clue. Once you establish generateToken isn't working you could open a support call.