Latest Contributions by MatejVrtich

‎11-02-2025

Hi @BruceHarold, Thank you for all the great articles you’ve written about ETL, they’ve been really inspiring. This particular one encouraged me to dive into the duck, especially with the recent addition of DuckDB support in the default Python environments in both ArcGIS Pro and ArcGIS Server. I wanted to share some of my own experiments and created this little “Quack” Python script tool just for fun (see attached). It's using DuckDB to Arrow to ArcGIS pipeline as I wanted to investigate the Arrow support in ArcGIS as well. The idea behind the tool is to be shared as a Web Tool in ArcGIS Enterprise and to offer an open way to load data into an app as an in-memory feature layer or table, with an option to store the result as a hosted feature layer as well (handled by the Web Tool). Both Map Viewer and Experience Builder can work directly with in-memory data, which provides a great UX for using the Web Tool itself. So, have fun — and please keep publishing 🙂 Regards, Matej I paste it here as I do not see the attach file button, sorry 🙂 import duckdb import arcpy import pyarrow as pa def add_esri_metadata(arrow_table: pa.Table, wkid: int = 4326) -> pa.Table: """Attach ArcGIS-compatible geometry metadata.""" sr = arcpy.SpatialReference(wkid) wkt = sr.exportToString() new_fields = [] for field in arrow_table.schema: metadata = { k if isinstance(k, bytes) else k.encode("utf-8"): ( v if isinstance(v, bytes) else v.encode("utf-8") ) for k, v in (field.metadata or {}).items() } if field.name == "geometry": metadata[b"esri.encoding"] = ( b"WKB" # TODO: add support for more encodings ) metadata[b"esri.sr_wkt"] = wkt.encode("utf-8") if field.name == "OBJECTID": metadata[b"esri.oid"] = b"esri.int64" new_fields.append(pa.field(field.name, field.type, metadata=metadata)) return pa.Table.from_arrays( arrow_table.columns, schema=pa.schema(new_fields, metadata=arrow_table.schema.metadata), ) def quack(sql, result="memory/quack"): con = duckdb.connect(":memory:") for ext in ("httpfs", "spatial"): con.execute(f"INSTALL {ext};") con.execute(f"LOAD {ext};") # Execute query and get Arrow table arr = con.execute( f""" {sql} """ ).arrow() # Check if any geometry column exists has_geometry = False geometry_types = ["geometry", "geom", "shape", "wkb_geometry", "the_geom"] # Check column names (case-insensitive) column_names = [col.lower() for col in arr.column_names] # Check for geometry column by name for geom_type in geometry_types: if geom_type in column_names: has_geometry = True break # Also check schema for spatial types (DuckDB spatial extension) if not has_geometry: for field in arr.schema: field_type_str = str(field.type).lower() if any( spatial_type in field_type_str for spatial_type in [ "geometry", "point", "linestring", "polygon", "multipoint", "multilinestring", "multipolygon", "geometrycollection", ] ): has_geometry = True break if arcpy.Exists(result): arcpy.AddMessage(f"Output {result} already exists - using Delete") arcpy.management.Delete(result) # Use appropriate tool based on geometry presence if has_geometry: arcpy.AddMessage("Geometry detected - using CopyFeatures") arcpy.management.CopyFeatures(add_esri_metadata(arr), result) else: arcpy.AddMessage("No geometry detected - using CopyRows") arcpy.management.CopyRows(arr, result) con.close() return result if __name__ == "__main__": sql = arcpy.GetParameterAsText(0) result = arcpy.GetParameterAsText(1) result = quack(sql, result) arcpy.SetParameterAsText(1, result) Edit: I should warn you against exposing the SQL parameter this way (without restrictions) in a Web Tool/GP Service if sharing to ArcGIS Enterprise, as it gives a lot of power if directly passed into the execute function. You can even list files from a file system from inside the ArcSOC.exe running the tool with SELECT * FROM glob('*'); or even return the contents of files themselves with SELECT string_agg(content, '\n') AS file_content FROM read_text(filename);

‎06-18-2025

Try server_folder="", at least it worked for me.

‎03-30-2025

I had the same issue and I think the problem was the availability of the identity provider url from the portal machine itself. I can't remember exactly if it was just for the ArcGIS service account or the machine itself. Try fetching the Keycloak URL as an ArcGIS service account user from the Portal machine to ensure that the IDP is accessible. Regards, Matej

‎02-27-2025

Dobrý den, rád bych doplnil, že kromě definice transformace na úrovni vrstvy ve webové mapě (URL parametr datumTransformation) je možné požadovanou transformaci definovat i na úrovni služby. Tím se zajistí, že odpovídající transformace bude použita i v případě, kdy klient transformaci nepožaduje (např. přidá službu do vlastní mapy v S-JTSK a nenastaví URL parametr datumTransformation). Transformaci pro službu lze definovat při publikaci služby z ArcGIS Pro a to nastavením požadované transformace na úrovni mapy, ze které je služba publikována. V případě, že je služba publikována z prostředí jiných aplikací (Survey123, Portal, ...), požadovanou transformaci je třeba definovat explicitně, v admin rozhraní hostované služby a to následovně: Pozn. je potřeba oprávnění vlastníka služby, či administrátora portálu v podrobnostech služby/položky portálu otevřít Zdroj: Feature Service Vpravo nahoře přepnout na Admin rozhraní Dolů v podporovaných operacích otevřít Update Definition Nahradit text v parametru Update Service Definition následujícím (odpovídá transformaci S_JTSK_To_WGS_1984_1) a potvrdit tlačítkem Update Service Definition { "datumTransformations": [ { "transformDirection": "forward", "transformJson": "[{\"wkid\":1623,\"latestWkid\":1623,\"transformForward\":false,\"name\":\"S_JTSK_To_WGS_1984_1\"}]", "fromSR": { "wkid": 4326, "latestWkid": 4326 }, "toSR": { "wkid": 4156, "latestWkid": 4156 } }, { "transformDirection": "reverse", "transformJson": "[{\"wkid\":1623,\"latestWkid\":1623,\"transformForward\":true,\"name\":\"S_JTSK_To_WGS_1984_1\"}]", "fromSR": { "wkid": 4326, "latestWkid": 4326 }, "toSR": { "wkid": 4156, "latestWkid": 4156 } } ] } Zdroj: https://developers.arcgis.com/rest/services-reference/enterprise/hosted-feature-service/ Zdraví, Matej Vrtich

‎09-20-2024

1) yes, both (layer & table) are in the web map 2) it's working fine in Web Editor in Online, on top of the same Feature Service (hosted), running in Enterprise 11.3 I noticed that when creating new features in the Web Editor, the GlobalID is saved in uppercase in Enterprise and lowercase in Online, referring to the same Feature Service (hosted) from Enterprise. I mention this because the relationship is created by GlobalID/GUID as a primary/foreign key. Thanks, Matej

‎09-20-2024

Hi, I'm having trouble creating related records in the new Web Editor on ArcGIS Enterprise 11.3. Click the (create record) button to create a new row in a standalone table through the relationship set in the Smart Form. No errors are logged in the console. The same workflow works fine in the Map Viewer (using Smart Form), so there's nothing wrong with the data. Is there anything else I should check? Thanks, Matej

‎09-09-2024

Hi, Found an issue with FeatureLayerView.highlight in version 4.30. When you use highlighting on pie chart clusters with labels, the label rendering in the map flashes and the following error messages are logged in the browser console: [.WebGL-0000092C006B1C00] GL_INVALID_OPERATION: Insufficient buffer size. The highlight issue also extends to the Legend widget with style=card. Activating the 2nd or 3rd page in the legend will switch the legend to the 1st page itself when highlighted. This issue does not occur in version 4.29, but starts in version 4.30 and continues in version 4.31 (next). Find a sample here: https://codepen.io/mvrtich/pen/poXGPoV Thanks for any insights, Matej

‎05-09-2024

Dlaždice prvků (Feature Tiles) jsou dynamické, čili ano, změny v datech v geodatabázi se projeví i u klientů, kteří data formou feature tiles využívají. Tady bych rád upřesnil, že dlaždice prvků se nijak zvlášť nepublikují. Jedná se o funkcionalitu, kterou umožňuje dynamická mapová služba (map service), nebo služba prvků (feature service) a to na úrovni dotazování se na data (query). Pokud budu chtít využít feature tiles přes mapovou službu, do webové mapy musím přidat konkrétní vrstvu této mapové služby, jako vrstvu prvků. Dlaždice prvků jsou prakticky zdrojová vektorová data, která se efektivně (formou dlaždic) přenáší na klienta a ten je pak nakreslí do mapy. Nemusí se však vždy jednat o nejrychlejší způsob. Pokud je dat hodně, nebo mají data velmi podrobnou a komplexní geometrii, můžete narazit na potíže s rychlostí generování dlaždic (na kterém pracuje Server i Databáze) a také s kreslením dat v mapě na klientovi. Pokud je primární cíl rychlost a jedná se o více vektorových vrstev tvořící určitou kompozici (např. topografická mapa), vhodnějším kandidátem dlaždic jsou dlaždice vektorové.

‎04-22-2024

OK, I've got it. I need to convert the original raster data (GeoTIFF) to CRF, which is basically a tiled imagery in LERC2D format (it also uses CompactCacheV2 internally). Then, publish this CRF by reference as a dynamic image service. Then, using the REST Admin API, just set the service property "isCached" to "true" and that's it. The REST service endpoint automatically publishes "tileInfo" with the schema and format (LERC2D) coming from the CRF. Adding a service to a portal content or Map Viewer allows me to choose whether I want to add it as a dynamic or (new) tiled imagery layer. I'm just wondering if this workflow is documented somewhere and if this is the only workflow for publishing tiled imagery layers to ArcGIS Image Server? Matej

‎04-22-2024

Hi, What is a correct way to publish a tiled imagery layer (not a tile cache) to ArcGIS Image Server (federated & hosting)? Thanks, Matej

‎04-17-2024

I was wondering if you found a solution to this problem? Thanks, Matej

‎01-25-2024

Prakticky dvakrát do roka vychází nová verze ArcGIS Enterprise (aktuálně 11.2), která obvykle přináší novou funkcionalitu a také známé dilema: „mít, či nemít“. Jednou za čas však přijde chvíle, kdy je potřeba provést upgrade i toho vlastního ArcGIS Enterprise, a to přes všechny obavy z náročnosti. V tomto článku si připomeneme, proč vlastně provádět upgrade ArcGIS Enterprise, na co myslet před upgrade a jakou verzi si vybrat, či zda počkat na verzi 11.3, plánovanou na květen 2024? Proč provádět upgrade ArcGIS Enterprise? Upgrade ArcGIS Enterprise je důležitý z několika důvodů: Zajištění bezpečnosti a stability systému. Upgrade opravuje známé chyby (vzpomínáte na log4j?) a zlepšuje výkon a spolehlivost ArcGIS Enterprise. Také přidává bezpečnostní funkce, jako je podpora pro nové protokoly a certifikáty, lepší šifrování a nové možnosti autentizace. Nové funkce a možnosti pro uživatele. Upgrade rozšiřuje schopnosti ArcGIS Enterprise o nové nástroje a aplikace, které pomáhají uživatelům lépe analyzovat, vizualizovat a sdílet prostorové informace. Technologická modernizace. Upgrade také modernizuje systém ArcGIS Enterprise po technologické stránce a zastaralé technologie někdy odstraňuje (vzpomínáte na ArcMap?). Systém ArcGIS Enterprise je pak “lehčí”, výkonnější a schopný dalšího technologického rozvoje. Životnost a technická podpora. Každá verze ArcGIS Enterprise má svůj životní cyklus (lifecycle), v jehož průběhu je software podporován (technická podpora & opravy chyb). Životní cykly mohou mít různé délky (LTS – long term suport a STS – short term support), takže např. aktuální verze 11.2 (STS) půjde do důchodu v listopadu 2026, zatímco dříve uvedená verze 11.1 (LTS) odejde až v květnu 2029. Následovat bude verze 11.3 (LTS) s plánovaným vydáním v květnu 2024. Čemu věnovat pozornost před upgrade ArcGIS Enterprise? Vždy se vyplatí začít s aktuální dokumentací k dané verzi, na kterou upgrade plánuji. V dokumentaci je uveden postup upgrade jednotlivých komponent ArcGIS Enterprise (jejich pořadí) a také seznam kroků, které je potřeba udělat, abychom zajistili hladký průběh a minimalizovali riziko případných problémů (jako např. mít zálohy). Přehled jednotlivých kroků upgrade ArcGIS Enterprise je uveden také zde: https://support.esri.com/en-us/knowledge-base/how-to-upgrade-to-arcgis-enterprise-11-x-000029452 Každý krok navíc, který mohu udělat, může ušetřit čas později, zejména pak: Ověřit funkčnost ArcGIS Enterprise. Je vhodné zkontrolovat, zda stávající instalace ArcGIS Enterprise funguje správně a nevykazuje žádné chyby. K tomu lze použít nástroje, jako je ArcGIS Server Administrator Directory, ArcGIS Portal Administrator Directory a další. Tyto nástroje pomohou ověřit stav a dostupnost ArcGIS Enterprise, jako je funkčnost jednotlivých komponent (validace, logy), expirace certifikátů, licencí, validace datových zdrojů apod. Od verze 11.0 lze operační diagnostiku provést také spuštěním připraveného skriptu (operationalHealth.py) a vytvořit report s přehledem aktuálního stavu ArcGIS Enterprise. Provést zálohu a ověřit funkčnost záloh. Je velmi důležité mít aktuální a funkční zálohu ArcGIS Enterprise, kterou lze použít v případě, že upgrade selže, nebo způsobí nějaké problémy. K zálohování ArcGIS Enterprise lze použít nástroj WebGIS Disaster Recovery (WebGISDR), který vytvoří zálohu všech komponent ArcGIS Enterprise, a to včetně obsahu (až na pár výjimek, např. dlaždice/cache). Při virtualizaci je možné tuto zálohu doplnit i o zálohu virtuálních strojů, na kterých jsou komponenty ArcGIS Enterprise provozovány. V každém případě je vhodné ověřit, že zálohy jsou funkční a že je lze pro obnovu ArcGIS Enterprise opravdu použít. Např. mohu zálohy ArcGIS Enterprise vytvářet v režimu read-only, kontrolovat výstupový kód nástroje WebGISDR a pokud to okolnosti umožní, funkčnost záloh ověřím na testovacím prostředí. Velikost zálohy, a tím i čas potřebný pro její vytvoření, se odvíjí od vlastního obsahu, který je do ArcGIS Enterprise publikován. V mém zájmu by proto mělo být minimalizovat tento obsah. Pokud např. publikuji dlaždice (vektorové, rastrové, 3d) nahráváním balíčků dlaždic do portálu, od verze 10.9 mohu dlaždice publikovat referencováním dlaždic z vlastního úložiště. Objemné balíčky dlaždic tak nebudou součástí obsahu portálu a vytvoření zálohy bude o něco rychlejší. Mít k dispozici IT. Upgrade ArcGIS Enterprise může vyžadovat spolupráci s IT oddělením nebo poskytovatelem infrastruktury, který spravuje prostředí, v němž ArcGIS Enterprise běží. Je proto vhodné mít během upgrade k dispozici součinnost s IT oddělením. Například může být potřeba získat administrátorská práva, aktualizovat operační systém nebo software, změnit nastavení firewallu nebo proxy apod. Změny, které upgrade přináší, se mohou týkat i systémových požadavků pro jednotlivé komponenty ArcGIS Enterprise, jako např. navýšení RAM pro ArcGIS Web Adaptor od verze 11.1. Na jakou verzi provést upgrade ArcGIS Enterprise? V případě přechodu z verze 10 na verzi 11 bych měl věnovat pozornost zejména vlastním službám a aplikacím, které mohou využívat zastaralé technologie (např. ArcMap) a pro které byla podpora ve verzi 11 ukončena. Detailně jsou změny verze 11 popsané v dokumentaci, na blogu zde či ve článku ArcRevue. Od verze 11 došlo u ArcGIS Enterprise také ke změně číslování jednotlivých verzí (z 10.x.x na 11.x), z čeho vyplývá i označení verze s dlouhodobou podporou. Nově určuje délku podpory parita vedlejšího čísla dané verze, kdy sudá = krátkodobá (STS) a lichá = dlouhodobá (LTS). Aktuálně je k dispozici verze 11.2 (STS) a následovat bude verze 11.3 (LTS), očekávaná v květnu 2024. Mám čekat na verzi 11.3, nebo instalovat verzi aktuální 11.2, či 11.1 (také LTS)? Na tuto otázku si musí odpovědět každý sám, a to podle svých preferencí. Pro někoho je důležitá nová funkcionalita, jiní potřebují co nejvíce oddálit další upgrade, a to provozem verze s dlouhodobou podporou. V takovém případě mám aktuálně na výběr verzi 11.1, nebo si počkám na verzi 11.3. Případné čekání na další verzi se vyplatí vyplnit přípravou stávajícího prostředí ArcGIS Enterprise na plánovaný upgrade. Kromě zmíněné migrace zastaralých služeb a aplikací (pokud provozuji ještě verzi 10) a vytvoření záloh mohu čas věnovat také revizi vlastního obsahu, který je v ArcGIS Enterprise vytvořen a spravován. K tomu lze využít např. portálové reporty nebo obsah portálu projít ve vlastním skriptu pomocí ArcGIS API for Python a nepoužívaný obsah odstranit. Přehled nové funkcionality ArcGIS Enterprise verze 11.1 a 11.2 ArcGIS Enterprise 11.1 (LTS) Nový Arcade editor (postavený na VS Code/Monaco) umožňující efektivnější tvorbu vlastních Arcade výrazů pro popup, symbologii a popisky ve webových mapách, kalkulaci hodnot v rámci chytrých formulářů při editaci dat či transformaci dat pro dashboardy. Podpora kartodiagramů (koláčových grafů) ve webových mapách a další novinky aplikace Map Viewer (náhled na schéma dat, nové možnosti pro shlukování dat v mapě - geohash binning, …). Aplikace Scene Viewer přináší podporu počasí pro webové scény a další vylepšení (kótování, analýza viditelnosti, GeoJSON/CSV data, …). Integrace „cizích“ dat do ArcGIS Enterprise pomocí Custom Data Feeds pro ArcGIS Server (externí data dostupná formou mapových vrstev v aktuálnosti zdroje dat). Rozšíření notifikací o událostech v ArcGIS Enterprise pomocí webhooks o události služeb (editace dat, geoprocessing) a nové UX pro konfiguraci webhooks portálu. Nová funkcionalita přibyla i do ostatních aplikací portálu, jako jsou Instant Apps, Dashboards, Experience Builder a další. ArcGIS Enterprise 11.2 (STS) Nová prostorová a rastrová analýza s možností historie v aplikaci Map Viewer. Podpora pro prohlížení a editaci relací přímo v popup okně webových map (editace stávajících a tvorba nových navázaných prvků/záznamů). Možnost automatického přesunu obsahu a skupin odebraného uživatele na jiného uživatele portálu. Podpora standardu ISO 19115-3 pro tvorbu a správu metadat v portálu. Administrace služeb ArcGIS Serveru (mapová a služba prvků) přímo v uživatelském rozhraní portálu. Nové uživatelské rozhraní portálu k vytvoření propojení hostovaných dat na úrovni pohledu (joined hosted feature layer view) a nové uživatelské rozhraní pro aktualizaci hostovaných dat (append, upsert, overwrite). Podrobný přehled nové funkcionality k dané verzi ArcGIS Enterprise je pak uveden v dokumentaci příslušných komponent a aplikací: ArcGIS Server, Portal for ArcGIS, ArcGIS Data Store, ArcGIS REST Services API, ArcGIS Dashboards, a další. Součástí krátkodobých verzí ArcGIS Enterprise je i beta funkcionalita, která bývá do produkce uvolněna s následující verzí dlouhodobou. Beta funkcionalita verze 11.2 zahrnuje nový editor metadat, nové datové typy polí (bing integer, date/time only, timestamp offset), nahrávání 3D modelů (obj, dae, glb, …) do webové scény, synchronizace dat mezi službami prvků, nová šablona (Briefings) pro mapy s příběhem a nová aplikace ArcGIS Knowledge Studio. Ať už jste s aktualizací horliví, či spíš zdrženliví, v každém případě vám přeji, aby byl ten další upgrade bezproblémový a uživatelé se těšili z každé nové funkcionality, kterou ArcGIS Enterprise přináší.

‎12-19-2023

@DannyKrouk thanks for the great explanation. Would it be possible to describe the configuration of F5 BIG-IP without the use of ArcGIS Web Adaptors? Thanks, Matej

‎11-21-2023

Dobrý den, k uvedené mapě (46ec37cde653438a97e08d359757c232) se osobně nedostanu, ani anonymně, ani jako přihlášený uživatel (ve vlastní organizaci): https://www.arcgis.com/home/item.html?id=46ec37cde653438a97e08d359757c232 Napadají mě pouze 2 možnosti, jak by se studenti k mapě mohli dostat: 1. Studenti mají oprávnění (definováno v rámci role v portálu), které jim umožňuje přístup k veškerému obsahu. Jedná se o výchozí oprávnění admin role, ale může být definováno i explicitně pro roli vlastní, kterou mohou mít studenti přidělenou. 2. Mapa je sdílená se skupinou, ve které studenti participují. Přístup k mapě může být sice nastaven pouze pro vlastníka, ale současně je možné mapu sdílet s vybranými skupinami. Zdraví, Matej

‎10-24-2023

Thanks for sharing, however this is not applicable for ArcGIS apps using the Popup widget, like Map Viewer, Dashboards, etc.

Online Status	Offline
Date Last Visited	10 hours ago

My Ideas

Latest Contributions by MatejVrtich

Re: More From The Duck Pond - Using DuckDB In ArcGIS Pro

Re: Error trying to sync bulk published datastore item "Invalid value for serverFolder. Layers have been published from this data store before an

Re: Missing user profile in response from identity server.

Re: Nastavení transformace ve webové mapě

Re: Trouble creating related records in the new Web Editor on ArcGIS Enterprise 11.3

Trouble creating related records in the new Web Editor on ArcGIS Enterprise 11.3

Highlight issue in v4.30

Re: Dlaždice v ArcGIS

Re: Tiled Imagery (LERC2D) in ArcGIS Image Server

Tiled Imagery (LERC2D) in ArcGIS Image Server

Re: Mosaic Dataset as Image Service Alpha Band

Proč dělat upgrade ArcGIS Enterprise a mám počkat na další verzi?

Re: Using F5’s BIG-IP to provide access to a “Base Deployment” of ArcGIS Enterprise

Re: Vlastní mapa bez sdílení je viditelná v rámci organizace

Re: Missing a vertical scroll in a new Popup (4.28)

Re: More From The Duck Pond - Using DuckDB In ArcG...

Re: Adding Cloud Optimized GeoTiff file to Imagery...

Re: Nastavení transformace ve webové mapě

Re: Tiled Imagery (LERC2D) in ArcGIS Image Server

Trouble creating related records in the new Web Ed...