Zde jsou moje data z oblasti, data parcel státu New Jersey (~3,5 milionu prvků, 4,4 GB s 45 poli), s poděkováním technickému týmu NJ za jejich pomoc při sestavování tohoto vzorku.
Brzy vysvětlím, proč je jedna parcela zvýrazněna...
Nejprve, s odkazem na název příspěvku, tato diskuse není vázána na ArcGIS Online, můžete pracovat s ArcGIS Enterprise a implementovat tento pracovní postup, tak se mnou zůstaňte. Výzva udržovat hostovanou vrstvu prvků velkých dat je běžná.
Problém, který se zde snažíme vyřešit, je aplikace aktualizace dat na živou službu, když je transakce aktualizace velmi velká, v našem případě se desítky tisíc úprav parcel zapisují několikrát ročně, prvky mohou být bohaté na body a schéma je široké. Pokud službu přepíšete pomocí uživatelského rozhraní základního ArcGIS Pro, spotřebuje to relaci na dlouhou dobu, takže pustíme se do efektivnější automatizace pomocí ArcGIS Data Interoperability a zapíšeme pouze delta transakci.
Konkrétně je doporučený režim zápisu changesetu pro větší transakce upsert. To vyžaduje, aby cílová služba prvků měla klíčové pole s unikátním omezením, což data z oblasti mají. Upserty jsou odesílány v blocích po 10 MB místo sad prvků s maximálním počtem řádků podporovaných službou (2000 pro polygonová data).
Údržba hostovaných služeb prvků aplikací delta transakce jako úprav je dobře vyšlapaná cesta, detekce změn v ArcGIS Data Interoperability je pro to ideální. Nicméně je zde několik věcí k poznamenání:
- Příchozí data pro aktualizaci jsou ve formátu file geodatabase
- Cílové pracovní prostředí je hostovaná služba prvků
- Sady dat nejsou ko-lokalizované
Toto naznačuje několik problémů:
- Streamování dat hostované vrstvy prvků lokálně pro výpočet changesetu by trvalo dlouho
- Geometrie, datum a číselná pole potřebují shodu přesnosti pro správnou detekci změn
- Nepatrné rozdíly hodnot vyžadují pečlivé zacházení
Problémy se shodou přesnosti lze vyřešit konfigurací ETL nástroje, ale abychom se problému úplně vyhnuli, přistoupíme k stažení cílové služby prvků jako vlastní file geodatabase, takže rozdíly přesnosti závislé na úložišti nejsou faktorem. Pak lze changeset snadno vypočítat lokálně mezi dvěma file geodatabase třídami prvků a delta se efektivně zapíše.
Zde přichází do hry zvýrazněná parcela na mapě. Parcely mohou mít složitou geometrii, hranice mohou mít více segmentů a segmenty mohou být true curves. I když ukládání true curves v hostovaných vrstvách prvků je podporováno, jejich úpravy jsou omezené. Zde jsou některé relevantní vlastnosti mé cílové služby prvků:
{"allowGeometryUpdates" : true,
"supportsTrueCurve" : true,
"supportedCurveTypes" : ["esriGeometryCircularArc"],
"allowTrueCurvesUpdates" : true,
"onlyAllowTrueCurveUpdatesByTrueCurveClients" : true}Z toho můžete vyvodit, že i když je teoreticky možné některé úpravy true curves provádět, jakékoli křivky typu esriGeometryEllipticArc nejsou podporovány pro úpravy a hádejte co, kruhový otvor ve tvaru koblihy v parcele má eliptickou geometrii. Také náš ETL nástroj klient není znám jako true curve klient.
Pokud používáte verzi ArcGIS Data Interoperability, která nepodporuje Esri ArcGIS Feature Service writer, budete muset použít administrační nástroje služby prvků k nastavení onlyAllowTrueCurveUpdatesByTrueCurveClients na false.
Jednoduchý způsob správy true curves je převést je na polyliny (stroke) při porovnávání geometrie nebo při zápisu do služby prvků pomocí transformátoru ArcStroker, s kontrolou maximální odchylky od true curve. Tento postup nahradí jakékoli obloukové segmenty polylinemi, dočasně pro porovnání geometrie a trvale pro jakoukoli parcelu zapsanou , která byla aktualizována nebo je nová.
Zde jsou dva pohledy na pracovní prostor, který vykonává celou práci, nejprve hlavní (Main) pohled...
...pak světle zelený smyčkový vlastní transformátor (looping custom transformer), který čeká na dokončení exportu file geodatabase...
Export file geodatabase trvá proměnlivou dobu v závislosti na vytížení ArcGIS Online. Nástroj jsem spustil v plánovaný čas odpovídající 3:00 UTC, export trval 23 minut. Viděl jsem i 10 minut nebo hodinu, ale také jsem zaznamenal selhání při testování během vytížených časů ArcGIS Online. Doporučuje se plánovat spuštění nástroje mimo vytížené časy v Severní Americe a Evropě, proto jsem použil 3:00 UTC.
Abychom aplikovali „defenzivní kódování“, těsně před smyčkovým transformátorem čekajícím na dokončení exportu jsou dva Emailer transformátory odesílající podrobnosti o odeslání úlohy (job submission) a podrobnosti o případném selhání úlohy (job failure). Podpora Esri bude potřebovat informace o úloze i selhání k řešení chování vaší služby při chybách. Prosím otevřete podporu pokud narazíte na problémy.
Zde je příklad těla e-mailu s podrobnostmi o úloze (job details):
Služba prvků:
https://services.arcgis.com/FQD0rKU8X5sAQfh8/arcgis/rest/services/NJParcels/FeatureServer
Exportní úloha služby prvků:
9f77069e-e212-46bb-8696-b7ce4f54c882::FQD0rKU8X5sAQfh8
Položka služby:
4480efce4518473096613597d461e55f
Položka exportu:
1fc913da28174608b9a65859bcc8b9b0
Zahájeno místním časem:
2026-01-26T07:03:23.5436242-08:00
Typ je file a velikost je 4823392256
Zde je příklad zprávy o selhání exportu (export failure), která ukončí překlad:
Exportní úloha služby prvků selhala se stavem failed
Selhání bylo místním časem 2026-01-26T09:05:01.0944432-08:00
ID úlohy bylo 9f77069e-e212-46bb-8696-b7ce4f54c882::FQD0rKU8X5sAQfh8
Status request response was
{"status": "failed","statusMessage": "failed","itemId": "4480efce4518473096613597d461e55f"}
Tento pracovní prostor je ke stažení v blogu, budete ho muset upravit podle svých přihlašovacích údajů ArcGIS Online, detailů služby prvků a parametrů Emailer transformátoru.
Prosím komentujte své zkušenosti a dotazy na tomto fóru!
