Zum Zeitpunkt des Schreibens ist Konferenzwoche für den Esri Developer & Technology Summit 2026 und ich bin gerade von meiner technischen Sitzung Exploring Tools and Patterns for Data Migration zurückgekehrt.<\/P>
Ich mag es, bei Veranstaltungspräsentationen viele Demos zu zeigen, das ermöglicht mir, Inhalte zu erstellen, die ich teilen kann. Hier ist ein Schnappschuss einiger Live-Aktionen - ETL über ein Skript-Tool der Overture Maps Foundation Places theme-Interessenspunkte, die in den Speicherarbeitsbereich von ArcGIS Pro als Basispunkt-Layer (die grünen Punkte) und zugehörige (mit 1:M-Kardinalität) Platzkategorien in einer Tabellenansicht als mein Output-Informationsprodukt, 64 Millionen Punkte abgefragt aus GeoParquet-Dateien in AWS S3 mit Karteninteraktion zur Definition eines Interessengebiets gebracht wurden.<\/P>
ETL mit Karteninput<\/span><\/span><\/P>Hier identifiziere ich einige der Punkte, siehe die alternativen Kategorien, die über Map Relate abgerufen werden.<\/P>
Platzkategorien<\/span><\/span><\/P>Ich bin etwas vorausgeeilt, also gehen wir ein wenig zurück. Idealerweise könnte ich ein Projektpaket mit angehängten Dokumenten teilen, aber das relevante Geoverarbeitungs-Tool gab mir einen Validierungsfehler aus, daher werde ich nur Werkzeuge, Dokumente und minimale Daten in den Beitragsanhängen teilen.<\/P>Hier ist der relevante Inhalt, über den ich in der im Katalogfenster gezeigten Reihenfolge sprechen werde.<\/P>
Relevanter Inhalt<\/span><\/span><\/P>Das Toolset Using Data Interoperability enthält zwei Spatial ETL-Tools, die einen zweistufigen Prozess zur Pflege eines gehosteten Feature-Service-Informationsprodukts in ArcGIS Online verkörpern. Zuerst Geodatabase-Objekte erstellen mit dem gewünschten Datenmodell, Beziehungen und Schema, diese zu einer Karte hinzufügen und Symbolik, Popup-Verhalten und Metadaten definieren, die Ebene als gehosteten Feature-Service veröffentlichen und dann zweitens diese Informationsprodukt auf Abruf aktualisieren.<\/P>Nicht am Tag demonstriert, aber etwas, von dem ich weiß, dass es gefragt ist, ist ein ModelBuilder-Modell FeatureSetInput, nämlich wie man Karteninteraktion in ein ArcGIS Data Interoperability Spatial ETL-Tool einbaut. Hier ist es:<\/P>
FeatureSetInput-Modell<\/span><\/span><\/P>Das Modell wird nicht als validiert angezeigt (es validiert zur Laufzeit), aber die Verarbeitung funktioniert so: Eine Modellvariable vom Typ FeatureSet ist ein Eingabeparameter, gefiltert auf Polygon. Das bedeutet, dass Sie zur Laufzeit eine Polygon-Ebene auswählen oder neue Interessengebiet-Features auf Ihrer Karte erstellen können. Das Kernwerkzeug Features to JSON wird dann verwendet, um eine EsriJSON-Datei im Projektscratch-Ordner als Zwischendaten zu schreiben. Der Pfad dieser Datei ist dann ein Eingabeparameter, der vom Spatial ETL-Tool DoSomethingWithEsriJSON erwartet wird, das von dort aus macht, was immer Sie wollen. Dieses Verhalten wird häufig für Webtools gewünscht.<\/P>Hier ist eine Ansicht des Werkzeugprotokolls während der Ausführung, die zeigt, dass das Eingabekartenpolygon in den Arbeitsbereich eingelesen wurde.<\/P>
FeatureSetInput-Laufzeitdetails<\/span><\/span><\/P>Nun zum Toolset Using ModelBuilder. Das Modell EVPopulationGeocoded zeigt das Einlesen einer lokalen CSV-Datei mit dem Kernwerkzeug Export Table, um ein gewünschtes Schema aufzuerlegen sowie wie man eindeutige Postleitzahlenwerte geokodiert, um allen Zeilen Geometrie bereitzustellen und die Geometrie an die Basistabelle anzuhängen. Das gewünschte Schema ist auf die Daten abgestimmt; das Skript-Tool ReportMaximumTextDataWidth hilft bei der tiefgehenden Inspektion der Feldbreitenanforderungen. Am Tag habe ich auch gezeigt, wie Notepad++ und Pro bei der Problemerkennung helfen können, z.B. nulls als Null kodiert, leere Strings und leere Geometriewerte.<\/P>
EVPopulationGeocoded<\/span><\/span><\/P>Nächstes war URL2EVPopulation, das zeigte, wie man ModelBuilder mit etwas Python einen Schub geben kann, um die Quell-CSV-Daten von einer URL abzurufen, wo sie in einem offenen Datenkatalog liegen – dies war eine beliebte Funktion.<\/P>
URL2EVPopulation<\/span><\/span><\/P>Das Submodell EVPopulation zeigte einen alternativen Ansatz zur Geometrieerstellung, nämlich die Fähigkeit von ArcPy, OGC Well Known Text in Esri-Geometrie umzuwandeln. Das Kernwerkzeug Convert Coordinate Geometry unterstützt WKT nicht.<\/P>
EVPopulation<\/span><\/span><\/P>Das Toolset Using Script Tools hat das Skript-Tool GeneratePlaces, das die oben gezeigte Places-Ebene und Place Categories-bezogene Tabellenansicht erstellt. Dies zeigt, wie man Karteninteraktion zu Ihren ETL-Werkzeugen hinzufügt, und führt DuckDB als sowohl eine SQL-bewusste Datenbank als auch leistungsstarken Integrationsclient für lokale oder entfernte Daten ein. Sie können SQL-Abfragen an jeden von DuckDB unterstützten Datentyp stellen, bis hin zu CSV.<\/P>Das bringt mich zu Notebooks als Integrationsoption. Ich habe ImportPlacesByDivisionArea demonstriert, das eine SQL-Where-Klausel verwendet hat, um ein Interessengebiet durch Benennung von Features der Overture Divisions -Features zu definieren, die das Gebiet bilden. Um zu helfen herauszufinden, wie die Gebietsnamen lauten müssen, ist das Notebook ImportCurrentDivisionAreas in den Beitragsdownloads enthalten. Dies lädt alle Overture Divisions-Gebiete weltweit herunter.<\/p>ImportPlacesByDivisionArea geht weiter als das Skript-Tool GeneratePlaces in Bezug auf Erstellung eines Informationsprodukts . Es fügt Metadaten zum Output hinzu, aber noch wichtiger pflegt einen Geokodierlocator "Places_Locator " vom POI-Typ unter Verwendung der neuesten Daten. Eine Kopie des Locators ist angehängt – sehen Sie sich an, wie er Kategorie-Filterung unterstützt, indem Sie "hotel " im Locate-Fenster in Pro eingeben – Sie sehen alle Hotels in Palm Springs als Kandidaten! Programmierer da draußen: Vergessen Sie nicht, dass Locator an einem Pfad programmatisch von arcpy.geocoding verwendet werden können für Dinge wie Reparatur von Null-Geometrien in Skriptwerkzeugen, Sie müssen keinen Geokodierdienst für zeilenbasierte Verarbeitung bereitstellen . <\/p >Nicht am Tag gezeigt aber in den Downloads enthalten ist eine Toolbox QuickImportToMemory mit dem Tool QuickImportToMemory , das tut was es verspricht unter Verwendung von ArcGIS Data Interoperability - es ermöglicht Sie führen Dateninspektion in Pro aus jeder unterstützten Datenquelle durch. Sie können Ihre Daten kennenlernen, bevor Sie sich für einen ETL-Ansatz entscheiden.
Alle Tools wurden mit ArcGIS Pro 3.6 erstellt.
Kommentieren Sie den Beitrag mit Ihren Beobachtungen.
