Trabalhando com vídeo geoespacial no ArcGIS

Cody Benkelman

Com drones, aeronaves, câmeras montadas em veículos, câmeras de ação 360 graus e smartphones capturando mais vídeos do que nunca, as organizações cada vez mais querem usar vídeo como parte do seu GIS. O vídeo não apenas fornece um registro visual e dinâmico das condições, ativos e eventos; ele captura movimento, contexto e mudanças ao longo do tempo de maneiras que imagens individuais não conseguem. Quando combinado com informações de localização, pode apoiar desde a conscientização situacional e inspeção de ativos até operações e tomada de decisões

O ArcGIS trabalha com vídeo geoespacial de várias maneiras diferentes, e essas opções estão se expandindo. À medida que o número e os tipos de sensores crescem rapidamente, e devido à natureza dinâmica do vídeo que requer considerações especiais, é importante entender o panorama mais amplo do vídeo geoespacial. Isso ajudará você a determinar a melhor abordagem para trazer vídeo para o ArcGIS. Este blog discutirá considerações-chave para usuários em sua organização ao trabalhar com vídeo geoespacial, desde preparar o vídeo para uso no ArcGIS até entender os aplicativos cliente e recursos disponíveis em todo o sistema ArcGIS.

Entendendo metadados e escolhendo o modelo de dados

Para muitas organizações, o ponto de partida é perguntar: Que vídeo eu tenho e como posso trazê-lo para o ArcGIS?

1. Introdução ao vídeo e seus metadados
   
   1. Metadados para vídeo geoespacial. Para usar vídeo em um GIS, ele precisa incluir metadados sobre a localização e orientação da câmera. Além disso, o conteúdo e a precisão dos metadados são importantes - quanto mais completos e precisos os metadados, mais funcionalidades os usuários terão no ArcGIS. Se os metadados estiverem incompletos, um usuário pode ser capaz de estimar valores apropriados, mas perderá alguma precisão (e funcionalidade) como resultado.
      
   2. Gerenciando vídeo e metadados. Devido à natureza dinâmica do vídeo, existem dois modelos de dados suportados no ArcGIS para gerenciar seus metadados, e cada um tem vantagens.
      
      1. Metadados KLV embutidos: O primeiro modelo de dados, KLV embutido (Key-Length-Variable), integra metadados no fluxo de dados do vídeo. Um valor importante dos metadados embutidos é que eles podem suportar transmissões ao vivo, de modo que a localização e orientação do sensor podem ser aplicadas (no cliente) conforme o vídeo é recebido. Esse modelo de dados também é usado para arquivos de vídeo armazenados. O formato KLV segue um esquema muito detalhado e é originalmente baseado em uma especificação militar. Outra vantagem desse modelo de dados é que você não precisa gerenciar vários arquivos. Uma desvantagem é que alguns players de vídeo podem não reproduzir com sucesso o arquivo/fluxo de vídeo, e o esquema não é otimizado para alguns modos de vídeo (por exemplo, vídeo 360).
         
      2. Metadados externos: O segundo modelo de dados é gerenciar e acessar metadados externos ao arquivo de vídeo. Isso é tipicamente o caso dos seus dados brutos (um arquivo simples de vídeo mais seus metadados, frequentemente em formato *.csv). Esses dados brutos podem ser processados no modelo de dados KLV embutido ou gerenciados separadamente do vídeo via uma classe de feição usando a capacidade oriented imagery do ArcGIS. Uma vantagem desse método é maior simplicidade e suporte mais flexível para vídeos que não podem ser mapeados no solo - por exemplo, vídeos 360 e vistas oblíquas apontadas acima do horizonte como as de dashcams móveis ou inspeções de ativos.
         
2. Preparando seus dados de vídeo para o ArcGIS
   Esta seção fornece orientações sobre qual modelo de dados para metadados+vídeo melhor se adequa aos dados. Esse conselho baseia-se principalmente na plataforma de coleta (aérea vs. terrestre), na orientação da visão do vídeo e nos metadados disponíveis. Com base nessas recomendações, os usuários podem então considerar quais dos aplicativos cliente e recursos disponíveis dentro do ArcGIS satisfazem melhor suas necessidades.
   
   1. Plataformas aéreas. Os metadados KLV embutidos são frequentemente a melhor escolha para vídeos coletados por aeronaves ou drones, embora também possam ser gerenciados com metadados externos usando a capacidade oriented imagery.
      
      Sistemas profissionais e militares geralmente codificam metadados KLV diretamente em arquivos ou transmissões ao vivo quando o vídeo é capturado. Aplicativos cliente que trabalham com formato KLV embutido (Excalibur e ArcGIS Pro com Image Analyst) podem usar esse vídeo imediatamente, sem processamento adicional.
      
      Vídeos de drone capturados com ArcGIS Flight são automaticamente acompanhados por um log de vídeo geoespacial que suporta qualquer um dos modelos de dados. O Video Multiplexer pode ser usado para embutir os metadados como KLV, ou Add Images to Oriented Imagery Dataset (com a categoria AerialFrameVideo) pode acessar o vídeo usando oriented imagery.
      
      Para vídeos e metadados de outro sistema aéreo, os usuários precisarão formatar os metadados disponíveis para corresponder ao esquema aéreo suportado. Fazer isso preserva a opção de usar qualquer um dos modelos de dados.
      
   2. Plataformas terrestres. Vídeos provenientes de plataformas terrestres móveis (nível do solo), como câmeras montadas em veículos ou câmeras 360 graus, são tipicamente melhor utilizados no ArcGIS quando gerenciados com metadados externos em um conjunto oriented imagery. Esses vídeos podem ser adicionados usando Add Images to Oriented Imagery Dataset, selecionando a categoria apropriada entre TerrestrialFrameVideo ou Terrestrial360Video category as appropriate.
      
      For video captured from a fixed terrestrial location, Generate Video Metadata can create a metadata table formatted according to the aerial schema. External metadata in oriented imagery is generally recommended for this type of video because these cameras often include view orientations above the horizon.
      
   3. View orientation above/below horizon. In addition to the collection platform, an important consideration is the primary view direction of the video. If the camera is aimed mostly toward the ground, either data model can be used. However, if the video frequently aims toward the horizon, oriented imagery is likely to be preferred. This is because many features implemented in ArcGIS for embedded KLV video assume that the video footprint is projected onto the ground.
      
   4. Metadata content/completeness. The functionality available in ArcGIS depends largely on the completeness of the metadata that accompanies the video. Depending on your video hardware, capturing metadata that is complete, accurate, and in an easily usable format is one of the key challenges for many video systems.
      
      1. Complete metadata. ArcGIS uses a common set of metadata fields to describe the location, orientation, and viewing characteristics of a video sensor. It is recommended that a complete metadata record should follow the aerial platform schema (recommended even if the video was not captured from an aerial platform, since this schema addresses many important parameters for video as a geospatial data type). Metadata will include:
         
         1. Camera location (x,y,z) and timestamp
         2. Platform orientation
         3. Sensor orientation relative to the platform
         4. Camera field of view
            
            Some values may be fixed or estimated – common examples include sensor orientation relative to the platform (if there is no moving gimbal), or the camera field of view (if no zoom lens). More complete and accurate values improve the placement of the sensor, viewing direction, and video footprint.
            
      2. Limited metadata. Many terrestrial systems record only camera location and time, commonly in comma-separated value (CSV) or GPS exchange format (GPX) files. This metadata can be used in an oriented imagery dataset when added with the geoprocessing tool under the TerrestrialFrameVideo or Terrestrial360Video category as appropriate.
         
         Some systems also report heading, and additional values can be estimated. For example, a fixed heading offset may be added for a side-facing vehicle camera, or a fixed pitch angle for a downward-facing camera. Heading values for the two Terrestrial categories can be estimated by ArcGIS during the “Add Images” process.
         
      3. Minimum metadata. A common question is, “What is the minimum metadata required?” but there is no single answer for minimum metadata content. ArcGIS Video Server can manage and share video with no metadata, and it can be viewed in ArcGIS Pro. For geospatial applications, the practical minimum is camera location and timestamp. Additional metadata progressively enables more functionality:
         
         1. (x,y, and optionally z) location updates the sensor position on the map.
         2. Heading and other orientation angles identify the viewing direction.
         3. Field of view supports an estimated view footprint.
            
            Complete orientation information improves map-to-video positioning.

Comparing features of the client apps in ArcGIS for video managed with embedded KLV vs. oriented Imagery

The numerous client apps in ArcGIS for geospatial video provide different capabilities, and their features depend on the data model and metadata available with the video. The table below summarizes some of the key features and differences, referenced to the client applications across ArcGIS.

For either data model,

• The usable extents of the video can be shown on the map;
• The video plays in a separate window, with a moving indicator on the map for camera location;
• Overlay of GIS features and map-to-video coordinate identification require sufficient camera position, orientation, and field-of-view metadata.

Continue with the table below for additional detail about software features.

Notes:

• For sharing video via the web using oriented imagery (see asterisks * above), the video must be web-accessible and shared publicly (until November 2026), and the oriented imagery dataset must be published as a layer before it can be used in supported clients. After November 2026, oriented imagery will support secure data storage via ArcGIS Enterprise.
• For embedded KLV videos, ArcGIS Pro requires the Image Analyst extension (the “Motion Imagery” tools).
• ArcGIS Video Server não aparece como uma coluna de recurso separada porque é uma infraestrutura de hospedagem e streaming, não um cliente interativo. A partir da versão 12.2 (final de 2026), o Video Server não suporta o modelo de dados de imagens orientadas para vídeo, mas isso provavelmente mudará em versões futuras.
• Scene Viewer via Portal (ArcGIS Online ou Enterprise) não é exibido para imagens orientadas, pois não suportava vídeo em imagens orientadas até o lançamento de novembro de 2026 do ArcGIS Online. A versão de lançamento para suporte no Enterprise está a ser definida.