<\/HEAD>
Q: Qu'est-ce que ArcGIS Data Interoperability ?<\/P>
R: C'est un produit bien sûr, une extension pour desktop et enterprise, mais en tant que technologie c'est la solution d'intégration sans code d'Esri. « Intégration » signifie connecter ArcGIS aux données – pour lecture ou écriture – à travers une grande variété de formats, flux et répertoires, puis manipuler les données selon les besoins de votre entreprise. Si vous pouvez y accéder alors Data Interoperability peut probablement fonctionner avec comme vous le souhaitez.<\/P>
<\/P>
Q: C'est une affirmation assez audacieuse - si vous pouvez « connecter » vous pouvez probablement « utiliser » – de quel type de sources de données parlons-nous vraiment ?<\/P>
R: Historiquement, il s'agissait principalement de formats basés sur des fichiers comme CAD et certains formats propriétaires utilisés par les premiers logiciels SIG, plus tout ce qui est basé sur du texte – fichiers sur disque. La connectivité aux bases de données a été ajoutée – transport réseau. Puis une ère XML est arrivée, ainsi que le raster et le nuage de points. La connectivité FTP et HTTP a été ajoutée pour atteindre Internet, puis JSON afin que les « données en mouvement » deviennent traçables, et récemment des connecteurs vers des stockages cloud. Au fur et à mesure que les produits ont évolué du desktop au réseau puis au web, la technologie s'est adaptée pour « juste fonctionner ». Tout cela s'accumule bien sûr, rien ne disparaît, et de nouvelles sources de tous types sont ajoutées à mesure qu'elles émergent.<\/P>
<\/P>
Q: Data Interoperability est-il identique à FME ?<\/P>
R: Il l'est sauf quand il ne l'est pas. Vous savez évidemment que c'est la technologie FME, Safe Software construit Data Interoperability pour nous, mais les deux produits desktop diffèrent légèrement dans les fonctionnalités incluses dans un article sous licence, et les produits serveur sont différents. Nous collaborons très étroitement avec Safe pour nous assurer que les fonctionnalités dont les utilisateurs Esri auront besoin soient intégrées dans la technologie FME et donc dans Data Interoperability. Beaucoup d'utilisateurs possèdent les deux produits, vous pouvez partager des fichiers workspace entre eux, et vos compétences dans chacun sont applicables dans l'autre.<\/P>
<\/P>
Q: Si je me connecte aux données puis-je simplement les utiliser comme un élément geodatabase ou feature service ou autre source native ArcGIS dans ma cartographie et mon géotraitement ?<\/P>
R: Oui, après les avoir écrites là où une application Esri peut les voir, mais accéder aux données brutes n'est qu'une partie de l'histoire. Il est rare que les données soient exactement dans le schéma que vous souhaitez pour votre travail, et un filtrage ainsi qu'une correction géométrique sont souvent nécessaires. C'est là que les centaines d'outils de transformation de données entrent en jeu. Une fois connecté aux données vous concevez un workflow basé sur un flux qui implémente le traitement dont vous avez besoin, puis enfin écrivez votre résultat où vous en avez besoin.<\/P>
<\/P>
Q: Vous avez dit : « diagram un workflow basé sur un flux ». Est-ce avec ModelBuilder ?<\/P>
R: & nbsp;Data Interoperability fournit une application – Workbench – qui offre un environnement de programmation visuelle comme ModelBuilder.& nbsp; C’est très facile à utiliser, vous travaillez sur une toile, ajoutez, configurez et connectez des éléments appelés readers, transformers et writers, effectuez des exécutions partielles ou complètes comme ModelBuilder, et les sessions peuvent être sauvegardées comme outils de géotraitement, encore une fois comme ModelBuilder.& nbsp; Je tiens à souligner que travailler dans Workbench est comme ModelBuilder ou créer des outils script Python en ce sens que vous travaillez dans l’environnement de géotraitement ArcGIS.& nbsp; Comme ModelBuilder mais contrairement aux outils script Python, vous ne codez pas, vous diagrammez.<\/P>
& nbsp;<\/P>
Q:& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Je suis habile avec Python, cela aide-t-il ?<\/P>
R:& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Cela peut aider, mais Python n’est pas nécessaire.& nbsp; Data Interoperability est une technologie sans code, mais aussi compatible avec le code.& nbsp; Parfois cela évite un peu de diagrammage d’utiliser un extrait Python pour une fonction.& nbsp; C’est une autre similitude avec ModelBuilder qui possède un outil modèle « Calculate Value » qui permet d’appliquer un extrait Python.& nbsp; Dans les deux cas cela peut faire gagner du temps.<\/P>
& nbsp;<\/P>
Q:& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Data Interoperability est ETL, mais je vois des fournisseurs cloud promouvoir ELT, avez-vous des commentaires ?<\/P>
R:& nbsp; & nbsp; & nbsp; & nbsp; & nbsp ; Extract Transform & Load (ETL) est lorsque la transformation des données est effectuée avant leur envoi à un système d’enregistrement, Extract Load & Transform (ELT) est lorsque les données sont d’abord envoyées (ou existent déjà) dans un système d’enregistrement et sont manipulées à l’intérieur de celui-ci, par exemple en utilisant SQL ou en utilisant une vue et/ou un langage mimant SQL dans une technologie de stockage JSON.& nbsp ; Bien que Data Interoperability dispose d’une capacité de manipulation de premier ordre, il dispose également d’une connectivité requête au sein des plateformes cloud, vous permettant de travailler sur les données là où elles se trouvent sans avoir à les déplacer constamment.& nbsp ; Ne luttez pas contre la gravité des données, faites ce qui fonctionne pour vous, Data Interoperability vous permet de faire cela depuis ArcGIS soit en ETL soit en ELT.<\/P>
& nb sp;<\/ P >< P > Q :& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ; Quel est le meilleur parcours d’apprentissage pour Data Interoperability ? Est-ce ainsi que vous avez commencé ?<\/ P >< P > R :& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ; Il existe des cours en ligne sur esri.com/training , ainsi qu’une mine d’informations sur safe.com pour FME Desktop , qui s’applique presque entièrement à Data Interoperability , mais le parcours d’apprentissage le plus précieux est d’apprendre en faisant – c’est-à-dire créer des outils ETL – et participer à la communauté ETL sur GeoNet et knowledge.safe.com . J’ai appris Data Interoperability en participant à des migrations de systèmes CAD vers ArcGIS .<\/ P >< P >& nb sp;<\/ P >< P > Q :& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ; J’ai entendu parler de Data Interop for Server. Pouvez-vous expliquer la fonctionnalité ETL dans le contexte serveur ?<\/ P >< P > R :& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ; Le modèle pour Data Interoperability for Server se situe dans la publication de services de géotraitement , c’est juste un cas spécifique de cela . Il y a quelques détails auxquels il faut penser , comme comment gérer les outils ETL qui produisent un workspace – tel qu’un File Geodatabase – ce qui ne peut pas être fait dans le géotraitement principal (vous pouvez zipper le GDB et retourner un paramètre fichier), et les services doivent être asynchrones , mais sinon traitez simplement un outil ETL comme , disons , un outil script Python .<\/ P >< P >& nb sp;<\/ P >< P > Q :& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ;& nb sp ; J’ai entendu dire que certaines personnes utilisent Data Interoperability pour supporter des formats et protocoles basés sur des standards , comme GML ou WFS ou GeoPackage. Pouvez-vous développer un peu là-dessus ?<\/ P >< P > R : Populaires formats et protocoles finissent souvent par être intégrés au cœur d’ArcGIS , même si initialement leur support passait par Data Interoperability . Cependant , il est généralement vrai qu’une expérience de traduction beaucoup plus riche reste disponible dans Data Interoperability . Ceci est vrai même pour des standards de facto tels que CSV , Excel et KML .<\/ P >< P >& Nbsp;<\/ p >< p > Q : Pouvez-vous partager quelques scénarios intéressants où Data Interoperability a joué un rôle important ?<\/ p >< p > R : Les résultats les plus impactants – étant subjectif ici , mais le modèle se répète et le nombre d’utilisateurs est très grand – c’est lorsqu’un système d’enregistrement peut être exploité pour obtenir des données autoritaires , puis ces données améliorées utilisées pour maintenir un feature service hébergé dans ArcGIS Enterprise ou Online , ce qui bien sûr fournit une source de données performante aux applications Esri . Le système source peut être FTP , HTTP , WFS , Protocol Buffer , un point d’accès REST API – n’importe quoi . L’avantage de ce modèle est que vous pouvez automatiser la fourniture des données aux utilisateurs Esri sans interruption ni perturbation du système d’enregistrement .<\/ p >< p >& Nbsp;<\/ p >< p > Q : J’ai entendu parler du serveur FME. Le supportez-vous ?<\/ p >< p > R : J’ai mentionné que les produits ArcGIS et FME server sont différents – c’est-à-dire séparés – mais ils ont un chevauchement fonctionnel . Data Interoperability for ArcGIS Enterprise offre l’ETL web dans le cadre du service géotraitement , un bon modèle pour faire des choses comme étendre le travail de traduction de format , ou traiter intensivement des sources basées sur fichiers largement utilisées dans votre organisation , par exemple vous traitez beaucoup de fichiers Excel . FME Server peut être utilisé de la même manière mais ne serait pas un bon investissement comparé à la licence Data Interoperability pour une installation existante ArcGIS Enterprise . Cependant , FME Server dispose d’une riche capacité d’automatisation déclencheur-action qui peut être utilisée pour des intégrations complexes entre plusieurs systèmes . Si votre travail concerne des intégrations qui n’émettent pas de résultats vers un client mais effectuent des synchronisations , alors FME Server peut être indiqué . S’il est installé aux côtés d’ArcGIS Enterprise , vos intégrations peuvent inclure le logiciel ArcGIS comme ArcPy ou l’API Python ArcGIS .<\/ p >< p >& Nbsp;<\/ p >< p > Q : Quel est le plan futur (roadmap) pour Data Interoperability ?<\/ p >< p > R : Il y a toujours une longue liste de formats et fonctionnalités de transformation en préparation , mais quelques de choses se démarquent et sont proches de la sortie, donc espérons qu'elles seront disponibles au moment où cette séance de questions-réponses sera publiée. Le premier est la maturation des outils pour interagir avec les big data. Un exemple dont j'ai l'intention de parler dans un blog est la récupération de grandes données CSV compressées (qui changent quotidiennement) depuis le web, puis l'utilisation de GeoAnalytics Desktop pour effectuer un traitement Spark parallélisé dans Pro, puis l'envoi des résultats sous forme de fichier Parquet vers une plateforme cloud où ils peuvent être interrogés par n'importe qui ; tout cela comme un ensemble d'outils ETL. Automatiser cela pour que cela se produise quotidiennement selon un calendrier renforcera le propos. Un deuxième développement que nous attendons avec impatience est la capacité à gérer les éléments ArcGIS Online dans un flux de travail ETL, ce qui signifie le téléchargement, le remplacement, le téléchargement ou la suppression des nombreux types d'éléments Online que vous pouvez créer avec Data Interoperability. Cela bouclera la boucle sur le partage du traitement ETL sur le cloud public d'Esri.
Q : Pouvez-vous parler davantage des futurs développements – pas seulement Data Interoperability, mais généralement dans les domaines de l'ETL, de l'intégration d'applications et autres ?
R : Rien ne disparaît, donc les sources de données basées sur des fichiers et sur réseau continueront d'exister, mais depuis un certain temps déjà et de plus en plus, les données sont déplacées dans des formats web comme JSON, et nous observons des tendances dans les services avec des charges utiles en protocol buffer, ainsi que des formats optimisés pour déplacer les big data, comme Parquet. Interagir avec les API REST est presque devenu banal maintenant et rendu simple grâce à Data Interoperability. Vous pouvez considérer comme acquis que les formats ou protocoles qui ont du succès dans l'industrie seront pris en charge par Data Interoperability. Concentrez-vous sur votre travail et dites-nous ce dont vous avez besoin, l'avenir sera construit pour vous.
Q : Où puis-je obtenir plus d'informations sur Data Interoperability en particulier, et sur les sujets liés à l'ETL en général ?
R : Votre représentant Esri sera heureux de vous conseiller sur la licence Data Interoperability. L'ETL est un sujet vaste et une discipline bien documentée dans l'industrie, mais pour vraiment lancer votre projet, envisagez un engagement de services professionnels avec votre représentant Esri local ou un partenaire. Pour du matériel de fond, recherchez sur GeoNet dans l'espace Open Platform, Standards and Interoperability.
