Duplicaat Rasters in Derived Mosaic Dataset na Synchronize Mosaic Dataset

lah

Hallo allemaal,

Ik loop tegen een probleem aan met dubbele rasters die verschijnen in een derived mosaic dataset, en ik hoop wat advies te krijgen over best practices, specifiek rond de instellingen van de Synchronize Mosaic Dataset tool.

 

Omgeving / Setup

• Enterprise GDB (SQL Server)
• Orthomosaics (COG) opgeslagen in S3
• ArcGIS Pro 3.5.4 / ArcGIS Enterprise 11.5
• Dagelijks ingestuurd python script

Mosaic Structuur

• 3 bron mosaic datasets, gesplitst per jaar (2024, 2025, 2026).
• Elke bron mosaic dataset groeit tot ~15.000–20.000 rasters.
• Nieuwe orthomosaics worden dagelijks toegevoegd.
• Een derived mosaic dataset combineert de drie bron mosaics met behulp van: 
  • Raster Type: Table
  • (volgens ESRI aanbevelingen voor het schalen van grote collecties)

Workflow

Ik heb een script dat:

1. Controleert op nieuwe orthos in S3
2. Deze laadt in de juiste bron mosaic dataset
3. Synchronize Mosaic Dataset uitvoert op de derived mosaic dataset

Het doel is eenvoudig:

 - Nieuwe rasters toevoegen aan de Derived MDS die net zijn geleverd aan de Source MDS. Mijn Derived MDS moet gewoon een identieke, gecombineerde versie zijn van mijn 3 Source MDSs.

 

Probleem

De derived mosaic dataset verzamelt na verloop van tijd dubbele rasters.

• Er zijn geen dubbele rasters in de bron mosaics.
• Dit suggereert dat iets in het synchronisatieproces items opnieuw introduceert of dupliceert in plaats van alleen nieuwe toe te voegen.

Wat ik heb waargenomen

• Eerder had ik moeite om de Synchronize Mosaic Dataset tool nieuwe rasters te laten detecteren.
• Na het aanpassen van parameters detecteert hij ze nu wel, maar zie ik nu duplicatieproblemen.
• Sommige parameters zorgen ervoor dat het proces meer dan 8 uur duurt - ook niet haalbaar.
• Bij testen op een kleinere subset mosaics (~10-20) kan ik het probleem niet reproduceren.
• Dit is wat er momenteel draait:

arcpy.management.SynchronizeMosaicDataset(
            in_mosaic_dataset=pDMDS,
            new_items="UPDATE_WITH_NEW_ITEMS",
            sync_only_stale="SYNC_STALE",
            update_cellsize_ranges="NO_CELL_SIZES",
            update_boundary="NO_BOUNDARY",
            update_overviews="NO_OVERVIEWS",
            build_pyramids="NO_PYRAMIDS",
            calculate_statistics="NO_STATISTICS",
            rebuild_raster="NO_RASTER",
            update_fields="UPDATE_FIELDS",
            fields_to_update="AquisitionDate;CenterX;CenterY;GroupName;ProductName;Raster;Shape;Tag;ZOrder",
            existing_items="IGNORE_EXISTING_ITEMS",
            broken_items="REMOVE_BROKEN_ITEMS",
            skip_existing_items="SKIP_EXISTING_ITEMS",
            estimate_statistics="NO_STATISTICS"
        )

Vraag

Voor deze workflow, waarbij ik alleen wil:

1. Alleen nieuwe rasters detecteren en toevoegen aan een bestaande derived mosaic dataset.
2. Bestaande rasters niet opnieuw verwerken of dupliceren.

Welke Synchronize Mosaic Dataset parameters moet ik gebruiken?

Verder:

• Is er iets specifieks aan het gebruik van derived mosaic datasets met het Table raster type dat herindexering of duplicatie van gerefereerde items kan veroorzaken?

 

Ieder advies, voorbeelden van werkende configuraties of valkuilen rond Synchronize Mosaic Dataset in dit type architectuur (Source MDS --> Derived MDS via Table Raster type) wordt zeer gewaardeerd.

Alvast bedankt!