A Data Factory do Fabric oferece um ambiente para facilitar fluxos de trabalho de ingestão, preparação e transformação de dados usando uma interface gráfica para guiar o processo. Esses fluxos de trabalho podem ser executados manualmente ou agendados como parte do pipeline. Neste post, exploraremos os pipelines de dados que podem ser criados dentro da Data Factory e como você pode incorporar análises espaciais usando Arc GIS GeoAnalytics para Microsoft Fabric.
Algumas das ótimas coisas que você pode fazer com um notebook GeoAnalytics para Fabric na Data Factory do Fabric usando pipelines de dados incluem:
- Automatizar a migração de dados entre os armazenamentos de dados Esri e Fabric
- Transformar geometrias para ajustar sistemas de coordenadas ou tipo de geometria
- Habilitar enriquecimento espacial para adicionar detalhes sociodemográficos aos conjuntos de dados com base na localização
- Agregação de conjuntos de dados pontuais em bins quadrados ou hexagonais para uso no Power BI
- 3e muito mais usando as mais de 180 fune7f5es e ferramentas espaciais na biblioteca GeoAnalytics
O que e9 GeoAnalytics para Fabric?
GeoAnalytics para Fabric traz mais de 180 fune7f5es espaciais e ferramentas para o Fabric permitindo que vocea incorpore inteligeancia de localizae7e3o perfeitamente em seu fluxo de trabalho analedtico. Ele este1 diretamente integrado ao runtime de cieancia e engenharia de dados do Fabric para permitir que vocea use ane1lises espaciais em seus notebooks para gerar insights poderosos que impulsionam sua tomada de decise3o.
Usando GeoAnalytics para Fabric, vocea pode acessar dados geoespaciais do seu lakehouse, data warehouse ou via servie7os web como o ArcGIS Online da Esri. A maioria dos formatos geoespaciais comuns sere1 reconhecida, incluindo shapefiles, geodatabases, GeoParquet, GeoJSON e servie7os de feie7e3o Esri 3 incluindo os diversos recursos no Esri ArcGIS Living Atlas of the World.
Como vocea pode usar GeoAnalytics para Fabric na Data Factory?
A Data Factory do Fabric permite a criae7e3o de pipelines de dados para construir fluxos ETL complexos. Inclui ve1rias atividades predefinidas, por exemplo, para copiar dados de warehouses na nuvem para o OneLake. Tambe9m inclui a capacidade de incorporar notebooks Spark como parte do fluxo de trabalho e assim podemos aproveitar o GeoAnalytics para Fabric!
Neste post forneceremos exemplos de notebooks GeoAnalytics em um pipeline de dados, mas voc pode encontrar mais detalhes sobre atividades com notebooks em geral na documentao da Data Factory do Fabric Data Factory.
O que faz um bom notebook GeoAnalytics para Fabric em um pipeline de dados?
GeoAnalytics para Fabric possui um grande conjunto de capacidades para criar fluxos complexos. No entanto, para usá-los em pipelines de dados, geralmente funciona melhor criar notebooks simples para realizar uma ou duas tarefas relacionadas. Por exemplo, um notebook que apenas realiza uma junção espacial para enriquecer dados, ou realiza a junção espacial e agrega, com os resultados gravados novamente no OneLake.
O que faz um bom notebook para uso em um pipeline de dados
Como mencionado acima, um bom notebook para uso em um pipeline de dados é projetado para realizar uma tarefa específica. Isso pode incluir múltiplas etapas no fluxo analítico, mas normalmente resultaria em uma única saída. Alguns exemplos podem ser:
- Migrao de dados.<\/STRONG> Movendo conjuntos espaciais entre serviçõs Esri feature services e OneLake; ou do OneLake para Esri feature services.<\/LI>Enriquecimento dos dados.<\/STRONG> Usando junções espaciais para combinar múltiplas fontes de dados e enriquecer geoespacialmente um conjunto de dados para uso subsequente em análise espacial ou modelo ML. Por exemplo, lendo dados dos clientes e enriquecendo cada localizaçãodo cliente com detalhes sociodemográficos baseados na sua localização.<\/LI>Agregação dos dados.<\/STRONG> Simplificação de um grande conjunto em uma versão agregada para uso em business intelligence, relatórios ou análise posterior nos dados agregados. Por exemplo, agregando um grande conjunto pontual em bins hexagonais.<\/LI>
<\/P>
Para nosso exemplo, usaremos um notebook que realiza uma junção espacial para encontrar interseções entre oleodutos e gasodutos e infraestruturas críticas ou ambientes de interesse. Os resultados serão então agregados e gravados para uso em um dashboard Power BI. Ao criar o notebook, adicionaremos alguma funcionalidade para torná-lo útil aos usuários do Fabric em nossa organização além<\/EM> dos indivíduos que trabalham diretamente nos notebooks do Fabric. A ideia é essencialmente criar uma boa "ferramenta" para geoprocessamento que possa ser executada por qualquer pessoa mesmo se não trabalhar com notebooks ou souber como fazer o fluxo analítico por conta própria.
Uma das chaves para isso é incorporar parâmetros<\/EM> no notebook. Parâmetros podem ser usados para passar valores externos a um pipeline. Isso significa que um usuário com acesso ao pipeline pode editar esses parâmetros e impactar os resultados gerados pelo notebook quando esse código for executado. Vamos dar uma olhada...
<\/P>
Usando parâmetros para permitir modificaçõs rápidas na análise
Para usar parâmetros ao executar um notebook em um pipeline, a primeira coisa é configurar variáveis específicas no seu notebook como "parâmetros." Depois basta acessá-los no pipeline e atualizar seus valores.
No notebook.<\/STRONG> Dentro do notebook do Fabric, você precisa ter uma célula que define os parâmetros do notebook. Isso parece qualquer outra célula, mas foi marcada como "célula parâmetro." Nos exemplos abaixo temos um conjunto de parâmetros que podem ser usados para identificar quais análises serão realizadas (por exemplo, identificar interseções dos pipelines com estradas, habitats críticos ou pipelines concorrentes), qual resolução os resultados agregados serão retornados e onde o arquivo resultado será salvo.
Cada um desses parâmetros tem um valor padrão definido, então se nenhuma atualização for feita no pipeline, o notebook ainda será executado confiando nesses valores padrão. Mas se o usuário atualizá-los no pipeline, o notebook atualizará o fluxo da análise.
No pipeline.<\/STRONG>. Vamos ver como eles aparecem dentro do pipeline para o usuário atualizar seus valores. Dentro do pipeline, depois que um notebook foi adicionado à tela como parte do fluxo, ele pode ser selecionado para atualizar suas configurações. Em "Configurações" do notebook novos valores podem ser inseridos para atualizar os parâmetros.
No exemplo abaixo estamos configurando o notebook para que quando ele rodar calcule as interseções dos pipelines com estradas e as interseções com pipelines concorrentes, mas não<\/EM> as interseções com habitats críticos. Usa bins h3 com resolução 4, uma "distância próxima" (para identificar estradas ou pipelines concorrentes dentro dessa distância) de 100 metros e retornará a saída agregada num arquivo chamado "output_aggregated_results."
Agora que as configurações foram atualizadas, quando o pipeline for executado ele substituirá esses valores no notebook substituindo os valores padrão. Em qualquer lugar onde esses valores forem usados no notebook refletirão os novos valores e executarão conforme esperado. Do pipeline tudo o que o usuário precisa saber são quais parâmetros eles podem editar.
Neste exemplo, quando o notebook é executado como parte do pipeline ele retorna resultados ao OneLake que podemos usar num dashboard Power BI para analisar nossos oleodutos e gasodutos relativos à infraestrutura próxima.
Conclusão
Este é apenas uma das ótimas maneiras de você usar o GeoAnalytics for Fabric para impulsionar seus fluxos de trabalho geoespaciais no Microsoft Fabric. Publicaremos mais conteúdo aqui no site da comunidade GeoAnalytics for Fabric para ajudá-lo a aproveitar ao máximo as capacidades geoespaciais que fazem parte da parceria entre Esri e Microsoft no Fabric. Por favor, nos informe sobre que tipo de coisas você gostaria de aprender mais!<\/P>
