Patrón ETL: Programación de Herramientas Web

bharold

A menudo, ETL no es una acción única, se necesita recurrencia <\/STRONG> para incorporar cambios de datos a lo largo del tiempo.  Hasta las versiones ArcGIS Pro 3.4 y ArcGIS Enterprise 11.4, los patrones de automatización soportados<\/STRONG> para esto incluían ArcGIS Data Pipelines<\/STRONG> y Notebooks <\/STRONG> o herramientas programadas usando el programador de tareas REST API<\/A>, pero una nueva opción sin código, programación de herramientas web<\/A>, se entrega en ArcGIS Pro 3.4 y ArcGIS Enterprise 11.4!<\/STRONG><\/P>

Puedes usar cualquier tipo de herramienta de geoprocesamiento para crear tu herramienta web programada - herramienta del sistema central, herramienta ModelBuilder, herramienta de script Python o herramienta Spatial ETL. <\/STRONG> Para el tema de mi blog estoy usando una herramienta Spatial ETL de ArcGIS Data Interoperability, porque puede consumir mis datos fuente, un feed

RSS<\/A>, específicamente un feed Common Alerting Protocol<\/A> (CAP), tal como lo publican muchas agencias en todo el mundo, incluyendo a FEMA<\/A> en USA.  Mis datos CAP son alertas meteorológicas en Nueva Zelanda<\/A>, actualizadas dos veces al día.  El feed no tendrá entradas si el clima es bueno 😉<\/span>.  CAP está basado en XML, fácilmente manejado por ArcGIS Data Interoperability<\/STRONG>.  Quiero reflejar el estado del feed CAP en una capa de entidades alojada en ArcGIS Online.<\/P>
A continuación hay un mapa de estado de alertas de ejemplo en ArcGIS Pro, para el 9 de octubre de 2024.  La descarga del blog tiene un par de documentos XML de alertas CAP, si quieres ver algunos datos sin procesar.<\/P>
Alertas meteorológicas CAP<\/span><\/span><\/P>
Como sugiere la etiqueta, la entidad amarilla es una vigilancia por viento fuerte, las líneas azules (al hacer zoom, polígonos naranjas) son advertencias de nieve para carreteras a través de algunos pasos montañosos.  Si hacemos zoom en la entidad más al norte podemos inspeccionarla.  Es Lewis Pass, que tiene dos resorts termales geotérmicos a lo largo de la ruta, así que si te retrasas por la nieve puedes esperar cómodamente!<\/P>
Alerta de nieve a través de Lewis Pass<\/span><\/span><\/P>
Unos días después, hay una vigilancia por lluvia intensa:<\/P>
Vigilancia por lluvia en Fiordland<\/span><\/span><\/P>
Para la zona, la lluvia solo viene en un tipo - intensa - así que no es sorpresa que la predicción de una actualización de alerta de vigilancia a advertencia (naranja) se haya cumplido en la siguiente actualización en 12 horas, además llegaron algunas nuevas alertas:<\/P>
Lluvia en la Costa Oeste<\/span><\/span><\/P>
Y al día siguiente - ¡más clima!<\/P>
¡Más clima!<\/span><\/span><\/P>
Actualizaciones regulares como esta son un caso clásico para una herramienta web programada, de hecho así fue como se actualizaron los datos para mí durante la noche.  ¿Cómo es ese ETL?<\/P>
Mi flujo de datos mantiene una capa de entidades alojada en ArcGIS Online desde el estado actual CAP.  Mi herramienta ETL es bastante simple, aquí está (también en la descarga del blog, requiere ArcGIS Data Interoperability para Pro 3.4 y ArcGIS Enterprise 11.4 si se comparte como herramienta web).<\/P>
<\/P>\n¡Ahora no hay nada que te impida automatizar tu ETL!<\/STRONG><\/P>\n <\/P>

bharold

@AdamRepsher_BentEar There is some problem with the token getting, if you copy the transformer into a new workspace and try out the Python it might give a clue. Once you establish generateToken isn't working you could open a support call.