V době psaní je konference týden pro Esri Developer & Technology Summit 2026 a právě jsem se vrátil z prezentace mé technické sekce Exploring Tools and Patterns for Data Migration.<\/P>
Mám rád, když jsou prezentace na akcích plné demo ukázek, umožňuje mi to vytvářet obsah, který mohu sdílet. Zde je snímek některých živých akcí - ETL pomocí skriptového nástroje Overture Maps Foundation Places theme bodů zájmu přenesených do paměťového pracovního prostoru ArcGIS Pro jako základní vrstva bodů (zelené body) a související (s kardinalitou 1:M) kategorie míst v tabulkovém zobrazení jako můj výstupní informační produkt, 64 milionů bodů dotazovaných z GeoParquet souborů v AWS S3 s interakcí mapy pro definování oblasti zájmu.<\/P>
ETL s mapovým vstupem<\/span><\/span><\/P>Zde identifikuji některé body, vidíte alternativní kategorie přístupné pomocí mapové relace.<\/P>
Kategorie míst<\/span><\/span><\/P>Předbíhám, tak se trochu vraťme zpět. Ideálně bych mohl sdílet balíček projektu s připojenými dokumenty, ale příslušný geoprocessingový nástroj mi při validaci hlásil chybu, takže budu sdílet jen nástroje, dokumenty a minimální data v přílohách příspěvku.<\/P>Zde je relevantní obsah, o kterém budu mluvit v pořadí zobrazeném v panelu Katalog.<\/P>
Relevantní obsah<\/span><\/span><\/P>Nástrojová sada Using Data Interoperability obsahuje dva Spatial ETL nástroje, které představují dvoufázový proces pro udržování hostované služby prvků jako informačního produktu v ArcGIS Online. Nejprve vytvořit objekty geodatabáze s požadovaným datovým modelem, vztahy a schématem, přidat je do mapy a definovat symboliku, chování popup oken a metadata, publikovat vrstvu jako hostovanou službu prvků, a poté druhak aktualizovat tento informační produkt na vyžádání.<\/P>Nepředvedeno během dne, ale něco, co vím, že je žádané, je ModelBuilder model FeatureSetInput, konkrétně jak zabudovat interakci mapy do ArcGIS Data Interoperability Spatial ETL nástroje. Tady je:<\/P>
Model FeatureSetInput<\/span><\/span><\/P>Model není zobrazen jako validovaný (validuje se za běhu), ale zpracování funguje takto: Proměnná modelu typu FeatureSet je vstupní parametr, filtrovaný na polygon. To znamená, že za běhu můžete vybrat polygonovou vrstvu nebo vytvořit nové prvky oblasti zájmu na vaší mapě. Jádrový nástroj Features to JSON se pak používá k zápisu souboru EsriJSON do složky scratch projektu jako mezilehlých dat. Cesta k tomuto souboru je pak vstupním parametrem očekávaným Spatial ETL nástrojem DoSomethingWithEsriJSON, který s ním dále pracuje podle potřeby. Toto chování je často požadováno pro webové nástroje.<\/P>Zde je pohled na log nástroje během běhu, ukazující načtení vstupního polygonu mapy do pracovního prostoru.<\/P>
Detail běhu FeatureSetInput<\/span><\/span><\/P>Nyní k nástrojové sadě Using ModelBuilder. Model EVPopulationGeocoded ukazuje čtení lokálního CSV souboru pomocí jádrového nástroje Export Table, aby se uplatnilo požadované schéma, plus jak geokódovat unikátní hodnoty PSČ pro dodání geometrie všem řádkům a připojit geometrii k základní tabulce. Požadované schéma je laděno tak, aby odpovídalo datům, skriptový nástroj ReportMaximumTextDataWidth pomáhá s hlubokou kontrolou požadavků na šířku polí, ale během dne jsem také ukázal použití Notepad++ a Pro pro pomoc při objevování problémů, jako jsou null hodnoty zakódované jako nula , prázdné řetězce a prázdné geometrické hodnoty.<\/P>
EVPopulationGeocoded<\/span><\/span><\/P>Dále byl URL2EVPopulation, který ukázal, jak dát ModelBuilderu podporu pomocí malého Pythonu, aby získal zdrojová CSV data z URL, kde jsou umístěna v katalogu otevřených dat, to byla populární funkce.<\/P>
URL2EVPopulation<\/span><\/span><\/P>Podmodel EVPopulation ukázal alternativní přístup k tvorbě geometrie, konkrétně schopnost ArcPy převést OGC Well Known Text do Esri geometrie. Jádrový nástroj Convert Coordinate Geometry WKT nepodporuje.<\/P>
EVPopulation<\/span><\/span><\/P>Nástrojová sada Using Script Tools obsahuje skriptový nástroj GeneratePlaces, který vytváří vrstvu Places a související tabulkové zobrazení Place Categories uvedené výše. Ukazuje, jak dodat interakci mapy vašim ETL nástrojům, a představuje DuckDB jako SQL-znalou databázi i výkonného integračního klienta pro lokální nebo vzdálená data. Můžete posílat SQL dotazy na jakýkoli datový typ podporovaný DuckDB, až po CSV.<\/P>Tím se dostávám k Notebooks jako integrační možnosti. Demonstroval jsem ImportPlacesByDivisionArea, který použil SQL where klauzuli definující oblast zájmu pojmenováním funkcí Overture Divisions, které tvoří oblast. Abych pomohl objevit potřebná jména oblastí, notebook ImportCurrentDivisionAreas je zahrnut v přílohách ke stažení. Tento stahuje všechny oblasti Overture Divisions po celém světě.
ImportPlacesByDivisionArea jde dále než skriptový nástroj GeneratePlaces pokud jde o vytváření informačního produktu. Přidává metadata k výstupu, ale důležitější je, že udržuje geokódovací lokalizátor "Places_Locator", typ POI používající nejnovější data. Kopie lokalizátoru je přiložena - podívejte se, jak podporuje filtrování kategorií zadáním "hotel" v panelu Locate v Pro - uvidíte všechny hotely v Palm Springs jako kandidáty! Programátoři nezapomeňte, že lokalizátory na cestě mohou být programově použity pomocí arcpy.geocoding k opravám nulové geometrie ve skriptových nástrojích, nemusíte nasazovat geokódovací službu pro zpracování po řádcích.
Nepředvedeno během dne ale ke stažení je toolbox QuickImportToMemory s nástrojem QuickImportToMemory , který dělá to co naznačuje pomocí ArcGIS Data Interoperability - umožňuje provádíte kontrolu dat v Pro z jakéhokoli podporovaného zdroje dat. Můžete se seznámit se svými daty před závazkem k přístupu ETL.
Všechny nástroje jsou vytvořeny s ArcGIS Pro 3.6.
Komentujte prosím příspěvek se svými poznatky.
