Op het moment van schrijven is het conferentieweek voor de Esri Developer & Technology Summit 2026 en ik ben net terug van het presenteren van mijn technische sessie Exploring Tools and Patterns for Data Migration.<\/P>
Ik geef bij evenementen graag demo-rijke presentaties, omdat dat me in staat stelt content te genereren die ik kan delen. Hier is een momentopname van wat live actie - ETL via script tool van Overture Maps Foundation Places theme punten van interesse die in ArcGIS Pro's geheugenwerkruimte worden gebracht als een basispuntlaag (de groene punten) en gerelateerde (met 1:M cardinaliteit) plaatscategorieën in een tabelweergave als mijn output informatieproduct, 64 miljoen punten opgevraagd uit GeoParquet-bestanden in AWS S3 met mapinteractie om een interessegebied te definiëren.<\/P>
ETL met kaartinvoer<\/span><\/span><\/P>Hier identificeer ik enkele van de punten, zie de alternatieve categorieën die via map relate worden benaderd.<\/P>
Plaatscategorieën<\/span><\/span><\/P>Ik ga mezelf voorlopen, dus laten we even teruggaan. Idealiter zou ik een projectpakket met bijgevoegde documenten kunnen delen, maar de relevante geoprocessing tool gaf een foutmelding vanwege een validatieprobleem, dus ik ga alleen tools, documenten en minimale data delen in de postbijlagen.<\/P>Hier is de relevante inhoud, waarover ik zal spreken in de volgorde zoals getoond in het Catalogusvenster.<\/P>
Relevante inhoud<\/span><\/span><\/P>De toolset Using Data Interoperability bevat twee Spatial ETL-tools die een tweefasenproces belichamen voor het onderhouden van een gehoste feature service informatieproduct in ArcGIS Online. Eerst geodatabase-objecten maken met het gewenste datamodel, relaties en schema, deze toevoegen aan een kaart en symbologie, popup-gedrag en metadata definiëren, de laag publiceren als een gehoste feature service, en vervolgens ten tweede dit informatieproduct op aanvraag bijwerken.<\/P>Niet gedemonstreerd op de dag maar iets waarvan ik weet dat er vraag naar is, is een ModelBuilder-model FeatureSetInput, namelijk hoe je mapinteractie bouwt in een ArcGIS Data Interoperability Spatial ETL-tool. Hier is het:<\/P>
FeatureSetInput-model<\/span><\/span><\/P>Het model wordt niet als gevalideerd weergegeven (het valideert tijdens runtime) maar de verwerking werkt als volgt: Een modelvariabele van het type FeatureSet is een invoerparameter, gefilterd op polygonen. Dit betekent dat je tijdens runtime een polygonlaag kunt kiezen of nieuwe interessegebiedfeatures op je kaart kunt maken. De kerntool Features to JSON wordt vervolgens gebruikt om een EsriJSON-bestand te schrijven naar de project-scratchmap als tussentijdse data. Het pad van dit bestand is dan een invoerparameter die wordt verwacht door de Spatial ETL-tool DoSomethingWithEsriJSON, die vanaf daar doet wat je wilt. Dit gedrag wordt vaak gewenst voor webtools.<\/P>Hier is een weergave van het toollogboek tijdens uitvoering, waarin wordt getoond dat de invoer polygonlaag is ingelezen in de werkruimte.<\/P>
FeatureSetInput runtime details<\/span><\/span><\/P>Nu voor de Using ModelBuilder toolset. Het model EVPopulationGeocoded toont het lezen van een lokaal CSV-bestand met de kerntool Export Table om een gewenst schema op te leggen, plus hoe unieke ZIP-codewaarden worden geocodeerd om geometrie aan alle rijen te leveren en deze geometrie aan de basistabel te koppelen. Het gewenste schema is afgestemd op de data, de script tool ReportMaximumTextDataWidth helpt bij diepgaande inspectie van veldbreedtevereisten, maar op de dag liet ik ook zien hoe Notepad++ en Pro kunnen helpen bij probleemontdekking, zoals nulls gecodeerd als nul , lege strings en lege geometriewaarden.<\/P>
EVPopulationGeocoded<\/span><\/span><\/P>Vervolgens was er URL2EVPopulation, dat liet zien hoe je ModelBuilder een boost geeft met een beetje Python om de bron CSV-data van een URL op te halen, waar deze zich bevindt in een open datacatalogus. Dit was een populaire functie.<\/P>
URL2EVPopulation<\/span><\/span><\/P>Het submodel EVPopulation toonde een alternatieve benadering voor geometriecreatie, namelijk de mogelijkheid van ArcPy om OGC Well Known Text om te zetten in Esri-geometrie. De kerntool Convert Coordinate Geometry ondersteunt WKT niet.<\/P>
EVPopulation<\/span><\/span><\/P>Using Script Tools toolset heeft de script tool GeneratePlaces, die de Places-laag en Place Categories gerelateerde tabelweergave maakt zoals hierboven getoond. Dit laat zien hoe je mapinteractie toevoegt aan je ETL-tools, en introduceert DuckDB, zowel als SQL-bewuste database en krachtige integratieclient voor lokale of externe data. Je kunt SQL-query's uitvoeren op elk datatype dat DuckDB ondersteunt, tot aan CSV toe.<\/P>otebooks als integratieoptie. Ik demonstreerde ImportPlacesByDivisionArea, die gebruikmaakt van een SQL where-clausule die een interessegebied definieert door Overture Divisions-features te benoemen die het gebied vormen. Om te helpen ontdekken wat de gebiedsnamen moeten zijn, is het notebook ImportCurrentDivisionAreas opgenomen in de postdownloads. Dit downloadt alle Overture Divisions-gebieden wereldwijd.
ImportPlacesByDivisionAreaNiet getoond op de dag maar wel in de downloads is een toolbox data-inspectie in Pro vanuit elke ondersteunde gegevensbron. Je kunt je gegevens leren kennen voordat je je vastlegt op een ETL-aanpak.
Alle tools zijn gebouwd met ArcGIS Pro 3.6.
Laat een reactie achter in de post met je observaties.
