Data Factory de Fabric proporciona un entorno para facilitar los flujos de trabajo de ingestión, preparación y transformación de datos utilizando una interfaz gráfica que guía el proceso. Estos flujos de trabajo pueden ejecutarse manualmente o programarse como parte del pipeline. En esta publicación, exploraremos los pipelines de datos que se pueden crear dentro de Data Factory y cómo puedes incorporar análisis espaciales usando Arc GIS GeoAnalytics para Microsoft Fabric. <\/P>
Algunas de las grandes cosas que puedes hacer con un cuaderno GeoAnalytics para Fabric en Data Factory de Fabric usando pipelines de datos incluyen:<\/P>
- Automatizar la migración de datos entre almacenes de datos Esri y Fabric.<\/LI>
- Transformar geometrías para ajustar sistemas de coordenadas o tipo de geometría.<\/LI>
- Habilitar enriquecimiento espacial para agregar detalles sociodemográficos a conjuntos de datos basados en la ubicación.<\/LI>
- Agregar conjuntos de datos puntuales en celdas cuadradas o hexagonales para su uso en Power BI.<\/LI>
- 3;y muchos me1s usando las me1s de 180 funciones y herramientas espaciales en la biblioteca GeoAnalytics.<\/LI><\/UL>
<\/P>
¿Que9 es GeoAnalytics para Fabric?<\/H2>GeoAnalytics para Fabric trae me1s de 180 funciones espaciales y herramientas a Fabric para permitirte integrar sin problemas la inteligencia de ubicacif3n en tu flujo de trabajo analedtico. Este1 directamente integrado en el runtime de ciencia y ingeniereda de datos de Fabric para permitirte usar ane1lisis espaciales en tus cuadernos y generar poderosos conocimientos que impulsen tu toma de decisiones.<\/P>Usando GeoAnalytics para Fabric, puedes acceder a datos geoespaciales desde tu lakehouse, data warehouse o a trave9s de servicios web como ArcGIS Online de Esri. La mayoreda de los formatos geoespaciales comunes sere1n reconocidos, incluyendo shapefiles, geodatabases, GeoParquet, GeoJSON y servicios de entidades Esri 3 incluyendo los diversos recursos en el Esri ArcGIS Living Atlas of the World.<\/P> <\/P>¿Cf3mo puedes usar GeoAnalytics para Fabric en Data Factory?<\/H2>Data Factory de Fabric permite la creacif3n de pipelines de datos para construir flujos ETL complejos. Incluye varias actividades predefinidas, por ejemplo, para copiar datos desde almacenes en la nube hacia OneLake. Tambie9n incluye la capacidad de incorporar cuadernos Spark como parte del flujo 3 y ased es como podemos aprovechar GeoAnalytics para Fabric!<\/P>En esta publicacif3n proporcionaremos ejemplos de cuadernos GeoAnalytics en un pipeline de datos, pero puedes encontrar me1s detalles sobre actividades con cuadernos en general en la documentacif3n de Data Factory de Fabric aqued.<\/P> <\/P>¿Que9 hace que un buen cuaderno GeoAnalytics para Fabric sea adecuado en un pipeline de datos?<\/H3>GeoAnalytics para Fabric tiene un gran conjunto de capacidades para crear flujos complejos. Sin embargo, para usarlos en pipelines encuentro que generalmente funciona mejor crear cuadernos simples que realicen una o dos tareas relacionadas. Por ejemplo, un cuaderno que solo realiza una unif3n espacial para enriquecer datos, o realiza la unif3n espacial y agrega, con los resultados escritos nuevamente a OneLake. <\/P>
<\/span><\/P>¿Que9 hace que un buen cuaderno sea adecuado para usar en un pipeline de datos?<\/H3>Como se mencionf3 anteriormente, un buen cuaderno para usar en un pipeline este1 disef1ado para realizar una tarea especedfica. Esto puede incluir varios pasos en el flujo analedtico, pero normalmente resultare1 en una sola salida. Algunos ejemplos podredan ser:<\/P>Migracif3n de datos.<\/STRONG> Mover conjuntos espaciales entre servicios de entidades Esri y OneLake; o desde OneLake hacia servicios de entidades Esri.<\/LI>Enriquecimiento de datos.<\/STRONG> Usar unif3nes espaciales para combinar mfaltiples fuentes y enriquecer geoespacialmente un conjunto para su uso posterior en ane1lisis espacial o modelo ML. Por ejemplo, leer datos del cliente y enriquecer cada ubicacif3n con detalles sociodemogre1ficos basados en su ubicacif3n.<\/LI>Agrupacif3n de datos.<\/STRONG> Simplificacif3n de un conjunto grande a una versi33n agregada para uso en inteligencia empresarial, informes o anlisis posteriores sobre los datos agregados. Por ejemplo, agregar un gran conjunto puntual en celdas hexagonales.<\/LI><\/UL> <\/P>Para nuestro ejemplo, usaremos un cuaderno que realiza una uni
ón espacial para encontrar intersecciones entre oleoductos y gasoductos e infraestructuras cr
ticas o ambientes relevantes. Los resultados luego se agregarán y escribirán para su uso en un panel Power BI. Al crear el cuaderno, agregaremos funcionalidad para hacerlo
til a los usuarios Fabric en nuestra organizaci
más allá del personal que trabaja directamente con cuadernos Fabric. La idea es crear esencialmente una buena
herramienta
para geoprocesamiento que cualquiera pueda ejecutar
incluso si no trabajan con cuadernos ni saben cómo hacer el flujo analítico ellos mismos.<\/P>Una clave importante es incorporar parámetros en el cuaderno. Los parámetros pueden usarse para pasar valores externos a un pipeline. Esto significa que un usuario con acceso al pipeline puede editar estos parámetros y afectar los resultados generados por el cuaderno cuando se ejecute ese código. Veamos esto...<\/P> <\/P>Uso de parámetros para permitir modificaciones rápidas del análisis<\/H3>Para usar parámetros al ejecutar un cuaderno en un pipeline, lo primero es configurar variables específicas como "parámetros." Luego solo necesitas acceder a ellos desde el pipeline y actualizar sus valores.<\/P>Dentro del cuaderno.<\/STRONG> Dentro del cuaderno Fabric necesitas una celda que defina los parámetros. Esta parece cualquier otra celda pero está marcada como "celda parámetro." En los ejemplos abajo tenemos un conjunto que identifica qué análisis se realizarán (por ejemplo identificar intersecciones del oleoducto con carreteras, hábitats críticos o oleoductos competidores), la resolución con la que se devolverán resultados agregados y dónde se guardará el archivo resultado.<\/P>
<\/span><\/P>Cada uno tiene valor predeterminado definido, así que si no se actualizan desde el pipeline el cuaderno seguirá funcionando con esos valores por defecto. Pero si un usuario los actualiza desde el pipeline el flujo del análisis cambiará.<\/P>Dentro del pipeline.<\/STRONG>. Veamos cómo aparecen estos parámetros dentro del pipeline para que el usuario pueda actualizar sus valores. Una vez agregado el cuaderno al lienzo como parte del flujo puede seleccionarse y actualizar su configuración. Bajo "Configuración" pueden ingresarse nuevos valores para actualizar los parámetros.<\/P>En el ejemplo abajo configuramos el cuaderno para calcular intersecciones del oleoducto con carreteras e intersecciones con oleoductos competidores pero no las intersecciones con hábitats críticos. Usa celdas h3 resolución 4, una "distancia cercana" (para identificar carreteras u oleoductos competidores dentro esa distancia) de 100 metros y devolverá resultados agregados a archivo llamado "output_aggregated_results." <\/P>
<\/span><\/P>Ahora que la configuración está actualizada cuando se ejecute el pipeline estos valores reemplazarán los predeterminados. Dondequiera que se usen reflejarán los nuevos valores y funcionarán acorde. Desde el pipeline todo lo que necesita saber el usuario es qués son los parámetros editables.<\p>En este ejemplo cuando se ejecuta el cuaderno como parte del pipeline devuelve resultados a OneLake que podemos usar en un panel Power BI para analizar nuestros oleoductos respecto a infraestructura cercana.<\p>
Conclusión
This es solo una de las grandes formas en que puedes usar GeoAnalytics para Fabric para impulsar tus flujos de trabajo geoespaciales en Microsoft Fabric. Publicaremos más contenido aquí en el sitio comunitario de GeoAnalytics para Fabric para ayudarte a aprovechar al máximo las capacidades geoespaciales que forman parte de la asociación entre Esri y Microsoft en Fabric. ¡Por favor, háznos saber qué tipo de cosas te gustaría aprender más!<\/P>
