<\/HEAD>
V: Wat is ArcGIS Data Interoperability? <\/P>
A: Het is natuurlijk een product, een extensie voor desktop en enterprise, maar als technologie is het Esri's no-code integratieoplossing. 'Integratie' betekent het verbinden van ArcGIS met data – voor lezen of schrijven – over een enorme verscheidenheid aan formaten, feeds en opslagplaatsen, en vervolgens de data manipuleren zoals vereist voor uw zakelijke behoeften. Als u er toegang toe hebt, kan Data Interoperability er waarschijnlijk mee werken zoals u wilt.<\/P>
<\/P>
V: Dat is een vrij gedurfde bewering - als je kunt 'verbinden' kun je waarschijnlijk ook 'gebruiken' – over wat voor soort databronnen hebben we het eigenlijk? <\/P>
A: Historisch gezien ging het allemaal over bestandsgebaseerde formaten zoals CAD en enkele propriëtaire formaten die werden gebruikt door vroege GIS-software, plus alles wat tekstgebaseerd was – bestanden op schijf. Databaseconnectiviteit werd toegevoegd – netwerktransport. Toen kwam er een tijdperk van XML, en raster en point cloud. FTP- en HTTP-connectiviteit werden toegevoegd om internet te bereiken, daarna JSON zodat 'data in beweging' beheersbaar werd, en recentelijk connectors naar cloudopslag. Naarmate producten zich ontwikkelden van desktop via netwerk naar web, heeft de technologie zich aangepast om 'gewoon te werken'. Dit stapelt zich natuurlijk allemaal op, niets verdwijnt, en nieuwe bronnen van alle soorten worden toegevoegd zodra ze opkomen.<\/P>
<\/P>
V: Is Data Interoperability hetzelfde als FME? <\/P>
A: Het is dat wel, behalve wanneer het dat niet is. U bent zich er uiteraard van bewust dat het FME-technologie is, Safe Software bouwt Data Interoperability voor ons, maar de twee desktopproducten verschillen enigszins in welke functionaliteit in een gelicentieerd item is inbegrepen, en de serverproducten zijn verschillend. We werken nauw samen met Safe om ervoor te zorgen dat functionaliteit die Esri-gebruikers nodig zullen hebben in FME-technologie komt en dus in Data Interoperability. Veel gebruikers hebben beide producten, u kunt workspace-bestanden tussen hen delen, en uw vaardigheden in elk zijn toepasbaar in het andere.<\/P>
<\/P>
V: Als ik verbinding maak met data kan ik die dan gewoon gebruiken als een geodatabase-item of feature service of andere ArcGIS-native bron in mijn mapping en geoprocessing? <\/P>
A: Ja, nadat u het hebt weggeschreven naar waar een Esri-app het kan zien, maar toegang tot ruwe data is slechts een deel van het verhaal. Het is zeldzaam dat data precies in het schema staat dat u wilt voor uw werk, en filtering en geometrieherstel zijn vaak nodig. Hier komen de honderden datatransformatietools om de hoek kijken. Zodra u verbinding maakt met data, maakt u een stroomgebaseerde workflow die de verwerking implementeert die u nodig hebt, en schrijft u tenslotte uw resultaat weg waar u het nodig hebt.<\/P>
<\/P>
V: U zei: 'diagram een stream-based workflow'. Is dit met ModelBuilder? <\/P>
A: &nbpsp;Data Interoperability biedt een app – Workbench – die een visuele programmeeromgeving levert zoals ModelBuilder.& nbsp; Het is heel gemakkelijk te gebruiken, u werkt op een canvas, voegt toe, configureert en verbindt dingen die readers, transformers en writers worden genoemd, voert gedeeltelijke of volledige runs uit zoals ModelBuilder, en sessies kunnen worden opgeslagen als geoprocessing tools, opnieuw zoals ModelBuilder.& nbsp; Ik wil benadrukken dat werken in Workbench lijkt op ModelBuilder of het maken van Python script tools doordat u werkt binnen de ArcGIS geoprocessing omgeving.& nbsp; Zoals ModelBuilder maar anders dan Python script tools codeert u niet, u maakt diagrammen.<\/P>
& nbsp;<\/P>
V:& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Ik ben handig met Python, helpt dat? <\/P>
A:& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Misschien wel, maar Python is niet noodzakelijk.& nbsp; Data Interoperability is no-code technologie, maar ook codevriendelijk.& nbsp; Soms bespaart het wat diagramwerk om een Python-fragment te gebruiken voor een functie.& nbsp; Dit is nog een overeenkomst met ModelBuilder, dat een modeltool 'Calculate Value' heeft waarmee je een Python-fragment kunt toepassen.& nbsp; In beide gevallen kan het tijd besparen.<\/P>
& nbsp;<\/P>
V:& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Data Interoperability is ETL, maar ik zie cloudleveranciers ELT promoten. Heeft u daar opmerkingen over? <\/P>
A:& nbsp; & nbsp; & nbsp; & nbsp; & nbpsp Extract Transform & Load (ETL) is waar de transformatie van data wordt gedaan voordat deze naar een systeem van registratie wordt gestuurd. Extract Load & Transform (ELT) is waar data eerst wordt gestuurd (of al bestaat) in een systeem van registratie en daarbinnen wordt gemanipuleerd, bijvoorbeeld door SQL te gebruiken of door gebruik te maken van een view en/of een SQL-mimic-taal in een JSON-opslagtechnologie.& nbpsp Terwijl Data Interoperability eersteklas manipulatietools heeft, heeft het ook queryconnectiviteit binnen cloudplatforms waarmee u aan de data kunt werken waar deze zich bevindt zonder deze steeds op te halen of weg te schrijven. Vecht niet tegen datagravitatie, doe wat voor u werkt. Data Interoperability laat u dit doen vanuit ArcGIS als ETL of ELT.<\/P>
& nbpsp;<\/P>< P>V: & nbpsp ; Wat is het beste leertraject voor Data Interoperability? Is dit hoe u bent begonnen? <\/ P >< P >A: & nbpsp ; Er zijn online cursussen op esri.com/training , en een schat aan informatie op safe.com voor FME Desktop , wat bijna volledig toepasbaar is op Data Interoperability , maar het meest waardevolle leertraject is leren door te doen – d.w.z. ETL-tools maken – en deelnemen aan de ETL-community op GeoNet en knowledge.safe.com . Ik heb Data Interoperability opgepikt door betrokken te zijn bij migraties van CAD-systemen naar ArcGIS.<\/ P >< P >& nbpsp ;<\/ P >< P >V: Ik heb gehoord van Data Interop for Server. Kunt u de ETL-functionaliteit in de servercontext uitleggen? <\/ P >< P >A: Het patroon voor Data Interoperability for Server zit binnen publicatie van geoprocessing services , het is gewoon een specifiek geval daarvan. Er zijn enkele details waarover u moet nadenken , zoals hoe om te gaan met ETL-tools die als output een workspace geven – zoals een File Geodatabase – wat niet kan worden gedaan in core geoprocessing (u kunt de GDB zippen en teruggeven als bestandparameter), en services moeten asynchroon zijn , maar verder behandelt u gewoon een ETL-tool alsof het bijvoorbeeld een Python script tool is.<\/ P >< P >& nbpsp ;<\/ P >< P >V: Ik heb mensen horen zeggen dat ze Data Interoperability gebruiken ter ondersteuning van standaarden gebaseerde formaten en protocollen , zoals GML of WFS of GeoPackage. Kunt u daar iets meer over vertellen? <\/ P >< P >A: Populaire formaten en protocollen vinden vaak uiteindelijk hun weg naar core ArcGIS , zelfs als aanvankelijk ondersteuning ervoor via Data Interoperability was. Het is echter meestal zo dat er nog steeds een veel rijkere vertaals ervaring beschikbaar blijft in Data Interoperability . Dit geldt zelfs voor de-facto standaarden zoals CSV , Excel en KML .<\/ P >< P >& nbpsp ;<\/ P >< P >V: Kunt u interessante scenario's delen waarin Data Interoperability een belangrijke rol heeft gespeeld? <\/ P >< P >A: De meest impactvolle uitkomsten – subjectief hier , maar het patroon komt steeds terug en het aantal gebruikers is zeer groot – zijn wanneer een systeem van registratie kan worden geoogst voor gezaghebbende data , waarna de data wordt verbeterd en gebruikt om een hosted feature service te onderhouden in ArcGIS Enterprise of Online , wat natuurlijk zorgt voor een performante databron voor Esri-apps . Het bronsysteem kan FTP , HTTP , WFS , Protocol Buffer , een REST API endpoint zijn – wat dan ook . Het voordeel van dit patroon is dat je gegevensvoorziening aan Esri-gebruikers kunt automatiseren zonder downtime en zonder het systeem van registratie te verstoren.<\/ P >< P >& nbpsp ;<\/ P >< P >V: Ik heb gehoord van FME server. Ondersteunt u dat? <\/ P >< P >A: Ik heb vermeld dat de ArcGIS- en FME-serverproducten verschillend zijn – dus apart – maar ze overlappen functioneel. Data Interoperability for ArcGIS Enterprise levert web ETL binnen het geoprocessing service framework , een goed patroon om dingen te doen zoals schaalvergroting van formaatvertalingswerk of verwerking van bestandsgebaseerde databronnen die veel worden gebruikt binnen uw organisatie , bijvoorbeeld als u veel Excel-bestanden verwerkt . FME Server kan op dezelfde manier worden gebruikt maar zou geen goede investering zijn vergeleken met licentiëring van Data Interoperability voor een bestaande ArcGIS Enterprise-installatie . Echter heeft FME Server rijke trigger-actie automatiseringsmogelijkheden die kunnen worden gebruikt voor complexe integraties tussen meerdere systemen . Als uw werk gaat over integraties die geen resultaten naar een client sturen maar synchronisaties uitvoeren , dan kan FME Server aangewezen zijn . Indien geïnstalleerd naast ArcGIS Enterprise kunnen uw integraties ArcGIS-software bevatten zoals ArcPy of de ArcGIS Python API .<\/ P >< P >& nbpsp ;<\/ P >< P >V: Wat staat er op de roadmap voor Data Interoperability? <\/ P >< P >A: Er staat altijd een lange lijst met formaat- en transformatiefuncties in de pijplijn , maar enkele Er zijn een aantal dingen die opvallen en die dicht bij release staan, dus hopelijk zijn ze uit tegen de tijd dat deze Q&A wordt verspreid. Het eerste is de volwassenwording van tools om te interageren met big data. Een voorbeeld waar ik over van plan ben te bloggen is het ophalen van grote gecomprimeerde CSV-gegevens (die dagelijks veranderen) van het web, vervolgens het gebruik van GeoAnalytics Desktop om wat parallelle Spark-verwerking in Pro te doen, en dan de resultaten als een Parquet-bestand naar een cloudplatform te sturen waar iedereen het kan opvragen; dit alles als een ETL-toolset. Dit automatiseren zodat het dagelijks volgens een schema gebeurt, zal het punt duidelijk maken. Een tweede ontwikkeling waarvan we verwachten dat die in de smaak zal vallen, is de mogelijkheid om ArcGIS Online-items te beheren binnen een ETL-workflow, dat betekent het uploaden, overschrijven, downloaden of verwijderen van de vele Online-itemtypen die je kunt maken met Data Interoperability. Dit zal de cirkel sluiten voor het delen van ETL-verwerking op Esri’s openbare cloud.
V: Kun je meer vertellen over toekomstige ontwikkelingen – niet alleen Data Interoperability, maar algemeen op het gebied van ETL, app-integratie en dergelijke?
A: Niets verdwijnt, dus bestandgebaseerde en netwerkgebaseerde gegevensbronnen zullen blijven bestaan, maar al geruime tijd en steeds meer worden gegevens verplaatst in webformaten zoals JSON, en we zien trends in services met protocol buffer-payloads, en formaten die geoptimaliseerd zijn voor het verplaatsen van big data, zoals Parquet. Interactie met REST-API's is nu bijna ouderwets en wordt eenvoudig gemaakt met Data Interoperability. Je kunt ervan uitgaan dat formaten of protocollen die tractie hebben in de industrie ondersteund zullen worden door Data Interoperability. Focus op je werk en vertel ons wat je nodig hebt, de toekomst wordt voor jou gebouwd.
V: Waar kan ik meer informatie krijgen over Data Interoperability in het bijzonder, en ETL-gerelateerde onderwerpen in het algemeen?
A: Je Esri-vertegenwoordiger adviseert je graag over Data Interoperability-licenties. ETL is een groot onderwerp en een goed gedocumenteerde industriële discipline, maar om je project echt op gang te helpen kun je overwegen een professionele service-engagement aan te gaan met je lokale Esri-vertegenwoordiger of partner. Voor achtergrondmateriaal kun je zoeken op GeoNet binnen de Open Platform-, Standards- en Interoperability-ruimte.
