Au moment de l'écriture, c'est la semaine de la conférence pour le Esri Developer & Technology Summit 2026 et je viens de revenir après avoir présenté ma session technique Exploring Tools and Patterns for Data Migration.<\/P>
J'aime faire beaucoup de démonstrations lors des présentations d'événements, cela me permet de générer du contenu que je peux partager. Voici un aperçu de certaines actions en direct - ETL via un outil script du thème Overture Maps Foundation Places points d'intérêt importés dans l'espace mémoire d'ArcGIS Pro comme une couche de points de base (les points verts) et les catégories de lieux associées (avec cardinalité 1:M) dans une vue tableau comme mon produit d'information de sortie, 64 millions de points interrogés à partir de fichiers GeoParquet dans AWS S3 avec interaction cartographique pour définir une zone d'intérêt.<\/P>
ETL avec entrée cartographique<\/span><\/span><\/P>Ici, j'identifie certains des points, voyez les catégories alternatives accessibles par relation cartographique.<\/P>
Catégories de lieux<\/span><\/span><\/P>Je prends un peu d'avance donc revenons un peu en arrière. Idéalement, je pourrais partager un package projet avec des documents attachés mais l'outil géotraitement pertinent a généré une erreur pour moi sur un problème de validation, donc je vais juste partager les outils, documents et données minimales dans les pièces jointes du post.<\/P>Voici le contenu pertinent, dont je parlerai dans l'ordre affiché dans le volet Catalogue.<\/P>
Contenu pertinent<\/span><\/span><\/P>L'ensemble d'outils Using Data Interoperability contient deux outils Spatial ETL qui incarnent un processus en 2 étapes pour maintenir un produit d'information service d'entités hébergé dans ArcGIS Online. D'abord créer des objets géodatabase avec le modèle de données, relations et schéma souhaités, les ajouter à une carte et définir la symbologie, comportement popup et métadonnées, publier la couche comme service d'entités hébergé, puis ensuite mettre à jour ce produit d'information à la demande.<\/P>Non démontré le jour même mais quelque chose que je sais être demandé est un modèle ModelBuilder FeatureSetInput, à savoir comment intégrer l'interaction cartographique dans un outil Spatial ETL ArcGIS Data Interoperability. Le voici :<\/P>
Modèle FeatureSetInput<\/span><\/span><\/P>Le modèle n'est pas montré comme validé (il se valide à l'exécution) mais le traitement fonctionne ainsi : Une variable modèle de type FeatureSet est un paramètre d'entrée, filtrée pour être polygone. Cela signifie qu'à l'exécution vous pouvez choisir une couche polygone ou créer de nouvelles entités zone d'intérêt sur votre carte. L'outil principal Features to JSON est alors utilisé pour écrire un fichier EsriJSON dans le dossier scratch du projet comme données intermédiaires. Le chemin de ce fichier est ensuite un paramètre d'entrée attendu par l'outil Spatial ETL DoSomethingWithEsriJSON qui prend le relais pour faire ce que vous voulez. Ce comportement est fréquemment recherché pour les outils web.<\/P>Voici une vue du journal d'outil pendant son exécution, montrant que le polygone carte d'entrée a été lu dans l'espace de travail.<\/P>
Détails d'exécution FeatureSetInput<\/span><\/span><\/P>Poursuivons avec l'ensemble d'outils Using ModelBuilder. Le modèle EVPopulationGeocoded montre la lecture d'un fichier CSV local avec l'outil principal Export Table pour imposer un schéma désiré, plus comment géocoder des valeurs uniques de code postal pour fournir la géométrie à toutes les lignes et joindre la géométrie à la table de base. Le schéma désiré est ajusté pour correspondre aux données, l'outil script ReportMaximumTextDataWidth aide à une inspection approfondie des exigences de largeur des champs, mais ce jour-là j'ai aussi montré l'utilisation de Notepad++ et Pro pour aider à découvrir des problèmes, tels que nulls encodés comme zéro , chaînes vides et valeurs géométriques vides.<\/P>
EVPopulationGeocoded<\/span><\/span><\/P>Puis vint URL2EVPopulation, qui a montré comment doper ModelBuilder avec un peu de Python pour récupérer les données source CSV depuis une URL où elles résident dans un catalogue open data, c'était une fonctionnalité populaire.<\/P>
URL2EVPopulation<\/span><\/span><\/P>Le sous-modèle EVPopulation a montré une approche alternative à la création de géométrie, à savoir la capacité d'ArcPy à convertir le texte bien connu OGC (OGC Well Known Text) en géométrie Esri. L'outil principal Convert Coordinate Geometry ne supporte pas WKT.<\/P>
EVPopulation<\/span><\/span><\/P>L'ensemble d'outils Using Script Tools contient l'outil script GeneratePlaces, qui crée la couche Places et la vue table liée Place Categories montrées ci-dessus. Cela montre comment ajouter une interaction cartographique à vos outils ETL, et introduit DuckDB, à la fois comme base de données SQL-aware et client d'intégration puissant pour données locales ou distantes. Vous pouvez lancer des requêtes SQL sur tout type de données supporté par DuckDB, jusqu'au CSV.<\/P>Cela m'amène aux Notebooks comme option d'intégration. J'ai démontré ImportPlacesByDivisionArea, qui utilise une clause SQL where définissant une zone d'intérêt en nommant des entités Overture Divisions, qui composent la zone. Pour aider à découvrir quels noms doivent avoir ces zones, le notebook ImportCurrentDivisionAreas est inclus dans les téléchargements du post. Cela télécharge toutes les zones Overture Divisions dans le monde entier.<\/P>ImportPlacesByDivisionArea va plus loin que l'outil script GeneratePlaces, en termes de création d'un produit d'information. Il ajoute des Métadonnées à la sortie mais surtout il maintient un localisateur géocodage "Places_Locator", type POI utilisant les dernières données. Une copie du localisateur est jointe - voyez comment il supporte le filtrage par catégorie en entrant "hotel" dans le volet Locate dans Pro - vous verrez tous les hôtels à Palm Springs sont candidats ! Les développeurs n'oubliez pas que les localisateurs situés à un chemin peuvent être utilisés programmatiquement par arcpy.geocoding, pour faire des choses comme réparer la géométrie nulle dans les outils script, vous n'avez pas besoin de déployer un service géocodeur pour le traitement ligne par ligne.<\/p>PAS montré le jour même mais inclus dans les téléchargements se trouve une boîte à outils QuickImportToMemory, contenant l'outil du même nom qui fait exactement ce qu'il suggère en utilisantArcGIS Data Interoperability - il permet vous effectuez une inspection des données dans Pro à partir de toute source de données prise en charge. Vous pouvez apprendre à connaître vos données avant de vous engager dans une approche ETL.
Tous les outils construits avec ArcGIS Pro 3.6.
Commentez dans le post avec vos observations.
