<\/HEAD>
P: O que é ArcGIS Data Interoperability?<\/P>
R: É um produto, claro, uma extensão para desktop e enterprise, mas como tecnologia é a solução de integração no-code da Esri. 'Integração' significa conectar o ArcGIS aos dados – para leitura ou escrita – através de uma enorme variedade de formatos, feeds e repositórios, manipulando os dados conforme necessário para suas necessidades de negócio. Se você pode acessá-lo, então Data Interoperability provavelmente pode trabalhar com ele do jeito que você quer.<\/P>
<\/P>
P: Essa é uma afirmação bastante ousada - se você pode 'conectar', provavelmente pode 'usar' – de que tipo de fontes de dados estamos realmente falando?<\/P>
R: Historicamente, era tudo sobre formatos baseados em arquivos como CAD e alguns formatos proprietários usados por softwares GIS antigos, além de qualquer coisa baseada em texto – arquivos no disco. A conectividade com banco de dados foi adicionada – transporte em rede. Depois veio a era do XML, e raster e nuvem de pontos. Conectividade FTP e HTTP foram adicionadas para alcançar a internet, depois JSON para que 'dados em movimento' se tornassem rastreáveis, e recentemente conectores para armazenamentos na nuvem. Conforme os produtos evoluíram do desktop através da rede até a web, a tecnologia se adaptou para 'simplesmente funcionar'. Isso tudo se acumula, claro, nada desaparece, e novas fontes de todos os tipos são adicionadas conforme surgem.<\/P>
<\/P>
P: Data Interoperability é o mesmo que FME?<\/P>
R: É exceto quando não é. Você obviamente sabe que é tecnologia FME, Safe Software constrói Data Interoperability para nós, mas os dois produtos desktop diferem ligeiramente nas funcionalidades incluídas em um item licenciado, e os produtos server são diferentes. Colaboramos muito de perto com a Safe para garantir que as funcionalidades que os usuários Esri vão precisar entrem na tecnologia FME e portanto no Data Interoperability. Muitos usuários têm ambos os produtos, você pode compartilhar arquivos workspace entre eles, e suas habilidades em cada um são aplicáveis no outro.<\/P>
<\/P>
P: Se eu me conectar aos dados posso usá-los como um item geodatabase ou feature service ou outra fonte nativa do ArcGIS no meu mapeamento e geoprocessamento?<\/P>
R: Sim, depois de gravá-los onde um app Esri possa vê-los, mas acessar dados brutos é só parte da história. É raro que os dados estejam exatamente no esquema que você quer para seu trabalho, e filtragem e remediação geométrica são comumente necessárias. É aí que entram as centenas de ferramentas de transformação de dados. Uma vez conectado aos dados você cria um fluxo de trabalho baseado em stream que implementa o processamento necessário, e por fim grava seu resultado onde precisar.<\/P>
<\/P>
P: &nbpsp; Você disse: 'diagramar um fluxo de trabalho baseado em stream'.& nbsp; Isso é com ModelBuilder?<\/P>
R:& nbsp; Data Interoperability fornece um app – Workbench – que oferece um ambiente visual de programação como ModelBuilder.& nbsp; É muito fácil de usar, você trabalha numa tela, adiciona, configura e conecta coisas chamadas readers, transformers e writers, faz execuções parciais ou completas como ModelBuilder, e sessões podem ser salvas como ferramentas de geoprocessamento, novamente como ModelBuilder.& nbsp; Quero enfatizar que trabalhar no Workbench é como ModelBuilder ou criar ferramentas script Python no sentido de que você trabalha no ambiente de geoprocessamento do ArcGIS.& nbsp; Como ModelBuilder mas diferente das ferramentas script Python, você não está codificando, está diagramando.<\/P>
& nbsp;<\/P>
P:& nbsp; Sou bom com Python, isso ajuda?<\/P>
R:& nbsp; Pode ajudar, mas Python não é necessário.& nbsp; Data Interoperability é tecnologia no-code, mas também amigável ao código.& nbsp; Às vezes economiza trabalho de diagramar usar um trecho Python para uma função.& nbsp; Isso é outra semelhança com ModelBuilder, que tem uma ferramenta modelo 'Calculate Value' que permite aplicar um trecho Python.& nbsp; Em ambos os casos pode economizar tempo.<\/P>
& nbsp;<\/P>
P:& nbsp; Data Interoperability é ETL, mas vejo fornecedores cloud promovendo ELT, tem comentários?<\/P>
R:& nbsp; Extract Transform & Load (ETL) é quando a transformação dos dados é feita antes de enviá-los a um sistema de registro, Extract Load & Transform (ELT) é quando os dados são primeiro enviados (ou já existem) num sistema de registro e manipulados dentro dele, por exemplo usando SQL ou usando uma view e/ou linguagem SQL mimetizada numa tecnologia JSON store.& nbsp; Enquanto Data Interoperability tem capacidade manipulatória de primeira classe, também tem conectividade query dentro das plataformas cloud permitindo trabalhar nos dados onde estão sem precisar movê-los para cima ou para baixo.& nbsp; Não lute contra a gravidade dos dados, faça o que funciona para você. Data Interoperability permite fazer isso dentro do ArcGIS tanto como ETL quanto ELT.<\/P>
& nbsp;<\/P>
P: & nbsp; Qual o melhor caminho de aprendizado para Data Interoperability? & nbsp; Foi assim que você começou?<\/P>
R:& nbsp; Existem cursos online em esri.com/training e muita informação em safe.com para FME Desktop que é quase completamente aplicável ao Data Interoperability, mas o caminho mais valioso é aprender fazendo – ou seja criando ferramentas ETL – e engajando-se com a comunidade ETL no GeoNet e em knowledge.safe.com.& nbsp; Eu aprendi Data Interoperability participando de migrações de sistemas CAD para ArcGIS.<\/P>
& nbsp;<\/P>
P: & nbsp; Ouvi falar do Data Interop for Server. & nbsp;Pode explicar a funcionalidade ETL no contexto server?<\/P>
R:& nbsp; O padrão para Data Interoperability for Server está dentro da publicação do serviço geoprocessing sendo apenas um caso específico disso.& nbsp; Existem alguns detalhes a considerar como lidar com ferramentas ETL que geram um workspace – como File Geodatabase – o que não pode ser feito no geoprocessing core (você pode zipar o GDB e retornar um parâmetro arquivo), e serviços devem ser assíncronos mas fora isso trate uma ferramenta ETL como uma ferramenta script Python.<\/P>
& nbsp;<\/P>
P:& nbsp; Ouvi pessoas usarem Data Interoperability para suportar formatos e protocolos baseados em padrões como GML ou WFS ou GeoPackage. & nbsp;Pode elaborar sobre isso?<\/P>
R:& nbsp; Formatos populares e protocolos frequentemente acabam entrando no core do ArcGIS mesmo se originalmente o suporte foi via Data Interoperability.& nbsp; Contudo geralmente permanece disponível uma experiência muito mais rica de tradução no Data Interoperability.& nbsp; Isso vale até mesmo para padrões consagrados como CSV, Excel e KML.<\/P>
& nbsp;<\/P>
P: & nbsp; Pode compartilhar cenários interessantes onde Data Interoperability teve papel importante?<\/P>
R:& nbsp; Os resultados mais impactantes – sendo subjetivo aqui mas o padrão se repete e o número de usuários é muito grande – são quando um sistema registro pode ser colhido para dados autoritativos depois esses dados são melhorados e usados para manter um hosted feature service no ArcGIS Enterprise ou Online que claro entrega uma fonte performática aos apps Esri.& nbsp; O sistema fonte pode ser FTP, HTTP, WFS, Protocol Buffer, endpoint REST API – qualquer coisa.& nbsp; A vantagem desse padrão é automatizar fornecimento dos dados aos usuários Esri sem downtime nem perturbar o sistema registro.<\/P>
& nbsp;<\/P>
P:& nbsp; Ouvi falar do FME server. & nbsp;Vocês suportam isso?<\/P>
R:& nbsp; Mencionei que os produtos ArcGIS e FME server são diferentes – significando separados – mas têm sobreposição funcional.& nbsp; Data Interoperability for ArcGIS Enterprise entrega web ETL na estrutura do serviço geoprocessing sendo bom padrão para escalar trabalhos como tradução formato ou processar fontes baseadas em arquivo muito usadas na organização por exemplo muitos arquivos Excel.& nbsp; FME Server pode ser usado da mesma forma mas não seria bom investimento comparado a licenciar Data Interoperability numa instalação existente ArcGIS Enterprise.& nbsp; Contudo FME Server tem rica capacidade trigger-action automação usada para integrações complexas entre múltiplos sistemas.& nbsp; Se seu trabalho envolve integrações que não emitem resultados a cliente mas fazem sincronizações então FME Server pode ser indicado.& nbsp; Se instalado junto ao ArcGIS Enterprise suas integrações podem incluir software ArcGIS como ArcPy ou ArcGIS Python API.<\/P>
& nbsp;<\/P>
P:& nbsp; O que há no roadmap do Data Interoperability?<\/p>
R:& nbpsp Há sempre uma longa lista de formatos e funcionalidades transformação na fila mas alguns de coisas que se destacam e que estão próximas do lançamento, então esperamos que estejam disponíveis até o momento em que este Q&A for divulgado. O primeiro é o amadurecimento das ferramentas para interagir com big data. Um exemplo sobre o qual pretendo escrever no blog é a recuperação de grandes dados CSV comprimidos (que mudam diariamente) da web, depois usando GeoAnalytics Desktop para fazer algum processamento paralelo com Spark no Pro, e então enviando os resultados como um arquivo Parquet para uma plataforma na nuvem onde qualquer pessoa pode consultá-los; tudo isso como um conjunto de ferramentas ETL. Automatizar isso para que aconteça diariamente em uma programação vai reforçar o ponto. Um segundo desenvolvimento que esperamos que agrade a todos é a capacidade de gerenciar itens do ArcGIS Online dentro de um fluxo de trabalho ETL, o que significa o upload, sobrescrição, download ou exclusão dos muitos tipos de itens Online que você pode criar com Data Interoperability. Isso fechará o ciclo no compartilhamento do processamento ETL na nuvem pública da Esri.<\/P>
<\/P>
P: Você pode falar sobre mais futuros – não apenas Data Interoperability, mas geralmente nas áreas de ETL, integração de aplicativos e afins?<\/P>
R: Nada vai desaparecer, então fontes de dados baseadas em arquivos e redes continuarão a existir, mas há algum tempo e cada vez mais, os dados são movidos em formatos web como JSON, e estamos vendo tendências em serviços com cargas úteis de protocolo buffer, e formatos otimizados para mover big data, como Parquet. Interagir com APIs REST já é quase algo comum agora e facilitado com Data Interoperability. Você pode considerar garantido que formatos ou protocolos que têm tração na indústria serão suportados pelo Data Interoperability. Foque no seu trabalho e nos diga o que você precisa, o futuro será construído para você.<\/P>
<\/P>
P: Onde posso obter mais informações sobre Data Interoperability em particular, e tópicos relacionados a ETL em geral?<\/P>
R: Seu representante Esri ficará feliz em aconselhá-lo sobre licenciamento do Data Interoperability. ETL é um grande tema e uma disciplina da indústria bem documentada, mas para realmente impulsionar seu projeto considere um engajamento de serviços profissionais com seu representante local da Esri ou parceiro. Para material de base, pesquise no GeoNet dentro do espaço Open Platform, Standards and Interoperability.<\/P><\/BODY><\/HTML>
