V době psaní je to týden po Esri International User Conference 2025 a při prezentaci témat ArcGIS Data Interoperability a ETL Patterns v Esri showcase celý týden mohu oznámit, že největší zájem o příchozí datové toky byl kolem udržování hosted feature services z externích dat. Tento příspěvek vám ukáže techniku, o které jsem již blogoval, ale s důležitou aktualizací, jak nejefektivněji provádět hromadné detekce změn, takže čtěte dál.<\/P>
Zde jsou moje předmětná data, adresy ulic pro Město Los Angeles, které laskavě zpřístupňuje data na svém otevřeném datovém portálu. Adresní data jsou udržována denně.<\/P>
Beverly Hills není v Los Angeles<\/span><\/span><\/P>Strategie integrace dat zahrnují různé přístupy a obecně existuje více "správných odpovědí", dobrý přehled lze získat sledováním prezentace mých kolegů z Esri z počátku tohoto roku. V případě mých předmětných dat jsou všechny možnosti diskutované v prezentaci (ArcGIS ModelBuilder, python skripty, python notebooks, ArcGIS Data Pipelines a ArcGIS Data Interoperability) platné přístupy.<\/P>Ale toto je prostor komunity Data Interoperability, takže se zaměřením na tuto možnost mám pro vás tip na zpracování. V prezentaci výše uslyšíte, že udržování hosted feature service je velmi běžné a minimalizace výpadků během toho je důležitá. Jedním ze způsobů je udržovat dvě feature services, upravovat jednu po druhé a mezi nimi provést výměnu zdroje. Pokud však používáte ArcGIS Data Interoperability, máte k dispozici další možnost, transformátor ChangeDetector, který může velmi rychle odvodit transakci zahrnující pouze přidané, aktualizované nebo smazané záznamy, což je téměř vždy velmi efektivní transakce.<\/P>Trik však spočívá v tom, jak dostat existující a nová hromadná data k transformátoru, aby mohl vypočítat delta transakci! Toto doporučuji:<\/P>
Použití webového připojení k řízení změny<\/span><\/span><\/P>Zdroj ETL workspace FMW je v příloze ke stažení.<\/P>Není úniku před stahováním nových příchozích dat, ale můžete se vyhnout streamování aktuálního stavu cílové feature service (což je relativně pomalé) tím, že požádáte portál o vytvoření exportu file geodatabase a ten stáhnete. Volání exportní úlohy vyžaduje token, který je obtížné generovat, pokud vaše organizace jako ta moje vyžaduje multi-factor authentication (MFA). Trik spočívá v tom použít autentizaci webové služby v transformátorech HTTPCaller, které iniciují exportní úlohu a kontrolují stav úlohy v custom looping transformátoru čekajícím na dokončení exportu. Autentizace webové služby poskytuje token na pozadí, takže ho nemusíte zadávat jako HTTP URL parametr. To je hlavní trik tohoto přístupu.<\/P>Z obrázku workspace výše uvidíte, že denní transakce změn adres Los Angeles je malá transakce na konci několika minut čtení dat. Log soubor (nezobrazený) mi říká, že se do transakce zapojilo 67 prvků a trvala 0,5 s.<\/P>
