Arbeiten mit geospatialem Video in ArcGIS

Cody Benkelman

Mit Drohnen, Flugzeugen, fahrzeugmontierten Kameras, 360-Grad-„Action“-Kameras und Smartphones, die mehr Video als je zuvor aufnehmen, möchten Organisationen zunehmend Video als Teil ihres GIS nutzen. Video bietet nicht nur eine visuelle, dynamische Aufzeichnung von Bedingungen, Vermögenswerten und Ereignissen; es erfasst Bewegung, Kontext und Veränderungen im Laufe der Zeit auf eine Weise, wie es einzelne Bilder nicht können. In Kombination mit Standortinformationen kann es alles unterstützen, von Situationsbewusstsein und Anlageninspektion bis hin zu Betrieb und Entscheidungsfindung.

ArcGIS arbeitet auf verschiedene Weise mit geospatialem Video, und diese Optionen werden erweitert. Da die Anzahl und Arten von Sensoren schnell wachsen und die dynamische Natur von Video besondere Überlegungen erfordert, ist es wichtig, das breitere geospatiale Videoumfeld zu verstehen. Dies hilft Ihnen dabei, den besten Ansatz für die Integration von Video in ArcGIS zu bestimmen. Dieser Blog behandelt wichtige Überlegungen für Benutzer in Ihrer Organisation beim Arbeiten mit geospatialem Video – von der Vorbereitung des Videos für die Nutzung in ArcGIS bis hin zum Verständnis der Client-Apps und Funktionen im gesamten ArcGIS-System.

Verstehen von Metadaten und Auswahl des Datenmodells

Für viele Organisationen ist der Ausgangspunkt die Frage: Welches Video habe ich und wie kann ich es in ArcGIS integrieren?

1. Einführung in Video und seine Metadaten
   
   1. Metadaten für geospatiales Video. Um Video in einem GIS nutzen zu können, muss es Metadaten über den Standort und die Ausrichtung der Kamera enthalten. Außerdem sind Inhalt und Genauigkeit der Metadaten wichtig – je vollständiger und genauer die Metadaten sind, desto mehr Funktionalität steht den Benutzern in ArcGIS zur Verfügung. Sind die Metadaten unvollständig, kann ein Benutzer möglicherweise geeignete Werte schätzen, verliert dadurch jedoch an Genauigkeit (und Funktionalität).
      
   2. Verwaltung von Video und Metadaten. Aufgrund der dynamischen Natur von Video unterstützt ArcGIS zwei Datenmodelle zur Verwaltung seiner Metadaten, die jeweils Vorteile bieten.
      
      1. Eingebettete KLV-Metadaten: Das erste Datenmodell, eingebettete KLV (Key-Length-Variable), integriert Metadaten direkt in den Videodatenstrom. Ein wichtiger Vorteil eingebetteter Metadaten ist die Unterstützung von Live-Streams, sodass Standort und Ausrichtung des Sensors (am Client) angewendet werden können, während das Video empfangen wird. Dieses Datenmodell wird auch für gespeicherte Videodateien verwendet. Das KLV-Format folgt einem sehr detaillierten Schema und basiert ursprünglich auf einer militärischen Spezifikation. Ein weiterer Vorteil dieses Modells ist, dass keine Verwaltung mehrerer Dateien erforderlich ist. Ein Nachteil ist jedoch, dass einige Videoplayer die Datei/den Stream nicht erfolgreich abspielen können und das Schema für einige Videomodi (z.B. 360-Video) nicht optimiert ist.
         
      2. Externe Metadaten: Das zweite Datenmodell verwaltet und greift auf Metadaten extern zur Videodatei zu. Dies ist typischerweise bei Rohdaten der Fall (eine einfache Videodatei plus ihre Metadaten, oft im *.csv-Format). Diese Rohdaten können in das eingebettete KLV-Datenmodell umgewandelt oder separat vom Video über eine Feature-Class mit der oriented imagery-Funktionalität verwaltet werden. Ein Vorteil dieser Methode ist größere Einfachheit und flexiblere Unterstützung für Videos, die nicht auf den Boden abgebildet werden können – beispielsweise 360-Video oder schräge Ansichten über den Horizont hinweg wie bei mobilen Dashcams oder Anlageninspektionen.
         
2. Vorbereitung Ihrer Videodaten für ArcGIS
   Dieser Abschnitt gibt Hinweise zur Auswahl des am besten geeigneten Datenmodells für Metadaten+Video basierend auf den Daten. Diese Empfehlungen basieren hauptsächlich auf der Erfassungsplattform (Luft- vs. Bodenplattform), der Blickrichtung des Videos sowie verfügbaren Metadaten. Anhand dieser Empfehlungen können Benutzer dann entscheiden, welche Client-Anwendungen und Funktionen innerhalb von ArcGIS ihre Anforderungen am besten erfüllen.
   
   1. Luftgestützte Plattformen. Die eingebetteten KLV-Metadaten sind oft die beste Wahl für Videos, die von Flugzeugen oder Drohnen aufgenommen wurden, obwohl sie auch mit externen Metadaten über die oriented imagery-Funktionalität verwaltet werden können.
      
      Professionelle und militärische Systeme kodieren häufig KLV-Metadaten direkt in Videodateien oder Livestreams während der Aufnahme. Client-Anwendungen, die das eingebettete KLV-Format unterstützen (Excalibur und ArcGIS Pro mit Image Analyst), können dieses Video sofort ohne weitere Verarbeitung verwenden.
      
      Drohnenvideos, die mit ArcGIS Flight aufgenommen wurden, werden automatisch von einem geospatialen Videolog begleitet, das beide Datenmodelle unterstützt. Der Video Multiplexer kann verwendet werden, um die Metadaten als KLV einzubetten oder Bilder zum Oriented Imagery Dataset hinzufügen (mit der Kategorie AerialFrameVideo) kann das Video über oriented imagery zugreifen.
      
      Für Videos und Metadaten eines anderen luftgestützten Systems müssen Benutzer die verfügbaren Metadaten so formatieren, dass sie dem unterstützten Luft-Schema entsprechen. Dadurch bleibt die Option erhalten, beide Datenmodelle zu verwenden.
      
   2. Bodenplattformen. Videos von beweglichen Bodenplattformen wie fahrzeugmontierten oder 360-Grad-Kameras werden in ArcGIS typischerweise am besten genutzt, wenn sie mit externen Metadaten in einem oriented imagery-Datensatz verwaltet werden. Diese Videos können mit dem Werkzeug Bilder zum Oriented Imagery Dataset hinzufügen hinzugefügt werden; dabei wählt man je nach Bedarf entweder die Kategorie TerrestrialFrameVideo oder Terrestrial360Video.
      
      Für Videos von einer festen Bodenposition kann Videometadaten generieren eine Metadatentabelle erstellen, die dem Luft-Schema entspricht. Externe Metadaten in oriented imagery werden für diese Art von Videos generell empfohlen, da diese Kameras oft Blickrichtungen oberhalb des Horizonts enthalten.
      
   3. Blickrichtung oberhalb/unterhalb des Horizonts. Neben der Erfassungsplattform ist auch die primäre Blickrichtung des Videos wichtig. Wenn die Kamera hauptsächlich auf den Boden gerichtet ist, kann jedes Datenmodell verwendet werden. Wenn das Video jedoch häufig auf den Horizont zielt, wird wahrscheinlich oriented imagery bevorzugt. Denn viele Funktionen in ArcGIS für eingebettetes KLV-Video gehen davon aus, dass der Videobereich auf den Boden projiziert wird.
      
   4. Inhalt/Vollständigkeit der Metadaten. Die verfügbare Funktionalität in ArcGIS hängt weitgehend von der Vollständigkeit der begleitenden Metadaten ab. Je nach Ihrer Videohardware ist das Erfassen vollständiger, genauer und leicht nutzbarer Metadaten eine der größten Herausforderungen vieler Videosysteme.
      
      1. Vollständige Metadaten. ArcGIS verwendet einen gemeinsamen Satz an Metadatenelementen zur Beschreibung des Standorts, der Ausrichtung und der Betrachtungsmerkmale eines Videosensors. Es wird empfohlen, dass ein vollständiger Metadatensatz dem Luftplattform-Schema folgt (empfohlen auch wenn das Video nicht von einer Luftplattform aufgenommen wurde, da dieses Schema viele wichtige Parameter für Video als geospatiale Datentypen abdeckt). Die Metadaten umfassen:
         
         1. Kamerastandort (x,y,z) und Zeitstempel
         2. Plattformausrichtung
         3. Sensororientierung relativ zur Plattform
         4. Kamerablickfeld
            
            Einige Werte können festgelegt oder geschätzt sein – übliche Beispiele sind Sensororientierung relativ zur Plattform (wenn kein beweglicher Gimbal vorhanden ist) oder das Kamerablickfeld (wenn keine Zoomlinse vorhanden ist). Vollständigere und genauere Werte verbessern die Positionierung des Sensors, Blickrichtung und Videobereich.
            
      2. Begrenzte Metadaten. Viele bodengestützte Systeme zeichnen nur Kamerastandort und Zeit auf – meist in CSV- oder GPX-Dateien. Diese Metadaten können in einem oriented imagery-Datensatz verwendet werden, wenn sie mit dem Geoverarbeitungswerkzeug unter der Kategorie TerrestrialFrameVideo oder Terrestrial360Video entsprechend hinzugefügt werden.
         
         Manche Systeme geben auch Heading an; weitere Werte können geschätzt werden. Beispielsweise kann ein fester Heading-Versatz für eine seitlich gerichtete Fahrzeugkamera oder ein fester Neigungswinkel für eine nach unten gerichtete Kamera hinzugefügt werden. Heading-Werte für beide Terrestrial categories can be estimated by ArcGIS during the “Add Images” process.
         
      3. Minimum metadata. A common question is, “What is the minimum metadata required?” but there is no single answer for minimum metadata content. ArcGIS Video Server can manage and share video with no metadata, and it can be viewed in ArcGIS Pro. For geospatial applications, the practical minimum is camera location and timestamp. Additional metadata progressively enables more functionality:
         
         1. (x,y, and optionally z) location updates the sensor position on the map.
         2. Heading and other orientation angles identify the viewing direction.
         3. Field of view supports an estimated view footprint.
            
            Complete orientation information improves map-to-video positioning.

Comparing features of the client apps in ArcGIS for video managed with embedded KLV vs. oriented Imagery

The numerous client apps in ArcGIS for geospatial video provide different capabilities, and their features depend on the data model and metadata available with the video. The table below summarizes some of the key features and differences, referenced to the client applications across ArcGIS.

For either data model,

• The usable extents of the video can be shown on the map;
• The video plays in a separate window, with a moving indicator on the map for camera location;
• Overlay of GIS features and map-to-video coordinate identification require sufficient camera position, orientation, and field-of-view metadata.

Continue with the table below for additional detail about software features.

Notes:

• For sharing video via the web using oriented imagery (see asterisks * above), the video must be web-accessible and shared publicly (until November 2026), and the oriented imagery dataset must be published as a layer before it can be used in supported clients. After November 2026, oriented imagery will support secure data storage via ArcGIS Enterprise.
• For embedded KLV videos, ArcGIS Pro requires the Image Analyst extension (the “Motion Imagery” tools).
• ArcGIS Video Server erscheint nicht als separate Feature-Spalte, da es sich um eine Hosting- und Streaming-Infrastruktur handelt und nicht um einen interaktiven Client. Ab Version 12.2 (Ende 2026) unterstützt Video Server das oriented imagery-Datenmodell für Video nicht, aber dies wird sich wahrscheinlich in zukünftigen Versionen ändern.
• Scene Viewer über Portal (ArcGIS Online oder Enterprise) wird für oriented imagery nicht angezeigt, da bis zur November 2026-Version von ArcGIS Online kein Video in oriented imagery unterstützt wurde. Die Veröffentlichungs-Version für die Unterstützung in Enterprise steht noch aus.