Precisamos migrar aproximadamente 8 bilhões de registros para um Geodatabase Empresarial PostgreSQL contendo uma Rede de Utilidade ArcGIS. Devido às limitações de volume de dados, os dados serão carregados incrementalmente em vários lotes na mesma Rede de Utilidade. Qual é a abordagem recomendada pela ESRI para: * Carregamento incremental por lotes * Mesclagem de lotes em uma Rede de Utilidade existente * Gerenciamento da topologia durante os carregamentos * Tratamento de associações e áreas sujas * Manutenção do desempenho em escala de bilhões de registros Existem práticas recomendadas documentadas, recomendações de escalabilidade ou arquiteturas de referência para Redes de Utilidade desse tamanho? Agradeço antecipadamente por qualquer orientação.

It is my understanding you are already in touch with support about the performance issues you are experiencing. You are already aware that enabling the network topology is a resource intensive process, so faster CPU, plenty of RAM, lots of storage for processing the transaction (locally and on the DBMS), and also a low-latency connection between all clients and components (client performing build, and DBMS). Best practices are practices that can be generally applied across all situations and said to be the best. You are dealing with exceptional circumstances that most customers are not likely to experience, so you are likely going to have some extraordinary hardware requirements as well as processes for managing this data load. If you need help working through these questions I recommend you reach out to an experienced business partner or Esri Professional Services to help your organization. If you are loading data in batches, it would be best if each batch was error free before loading data and that the master database is error free as well. Creating errors requires additional CPU and Memory during the build process, so reducing the number of errors before you enable the network topology will make the process more efficient. You can do think like Enabling the network topology in the batches, or use tools like Analyze Network Data to identify topology errors before you enable.

nav[aria-label="Primary Navigation"] { padding: 0; & ul { list-style: none; width: 100%; display: flex; flex-direction: row; justify-content: start; align-items: start; gap: 30px; padding: 0; & li { margin: 0; } & ul li { list-style: none; } } }

Recomendação da ESRI para Carregamento Incremental de ~8 Bilhões de Registros em uma Rede de Utilidade Existente

JayaramBT

Precisamos migrar aproximadamente 8 bilhões de registros para um Geodatabase Empresarial PostgreSQL contendo uma Rede de Utilidade ArcGIS. Devido às limitações de volume de dados, os dados serão carregados incrementalmente em vários lotes na mesma Rede de Utilidade.

Qual é a abordagem recomendada pela ESRI para:

Carregamento incremental por lotes
Mesclagem de lotes em uma Rede de Utilidade existente
Gerenciamento da topologia durante os carregamentos
Tratamento de associações e áreas sujas
Manutenção do desempenho em escala de bilhões de registros

Existem práticas recomendadas documentadas, recomendações de escalabilidade ou arquiteturas de referência para Redes de Utilidade desse tamanho?

Agradeço antecipadamente por qualquer orientação.

Encontre mais publicações marcadas com

Accepted answers

RobertKrisher

Entendo que você já está em contato com o suporte sobre os problemas de desempenho que está enfrentando. Você já sabe que habilitar a network topology é um processo que consome muitos recursos, portanto, é necessário um CPU mais rápido, bastante RAM, muito armazenamento para processar a transação (localmente e no DBMS), além de uma conexão de baixa latência entre todos os clientes e componentes (cliente realizando a build e DBMS).

Best practices são práticas que podem ser aplicadas geralmente em todas as situações e consideradas as melhores. Você está lidando com circunstâncias excepcionais que a maioria dos clientes provavelmente não enfrentará, então provavelmente terá requisitos extraordinários de hardware, bem como processos para gerenciar essa carga de dados. Se precisar de ajuda para resolver essas questões, recomendo que entre em contato com um parceiro de negócios experiente ou com o Esri Professional Services para ajudar sua organização.

Se você estiver carregando dados em lotes, o ideal é que cada lote esteja livre de erros antes do carregamento e que o banco de dados mestre também esteja sem erros. Criar erros exige CPU e memória adicionais durante o processo de build, então reduzir o número de erros antes de habilitar a network topology tornará o processo mais eficiente. Você pode fazer coisas como habilitar a network topology nos lotes ou usar ferramentas como Analyze Network Data para identificar erros de topologia antes de habilitar.

All comments

RobertKrisher

@JayaramBT

Você pode encontrar a arquitetura de referência no ArcGIS Architecture Center.

A melhor prática é carregar os dados em um geodatabase não versionado, com a topologia de rede desativada. Isso inclui nossas associações.

A melhor prática para lidar com erros de topologia é resolver o máximo possível deles durante a migração e resolver o restante antes de registrar o banco de dados como versionado e ativar a topologia de rede. Isso inclui garantir que você não esteja importando associações inválidas ou duplicadas.

A melhor prática para sub-redes é garantir que seus dados estejam topologicamente limpos e que todas as correções de dados para ter sub-redes válidas e totalmente conectadas ocorram antes de importar seus controladores de sub-rede e realizar a atualização inicial da sub-rede.

Se você decidir carregar dados incrementalmente em um ambiente versionado, isso trará considerações adicionais, mas o maior risco que você está adicionando é que pode introduzir IDs globais duplicados ou associações durante suas cargas. Mantemos as cargas incrementais mais rápidas relaxando algumas das nossas verificações de validação, mas isso também coloca a responsabilidade no carregador de dados para garantir que não estejam carregando dados incorretos. Existem muitas outras preocupações e considerações ao carregar dados em um ambiente versionado, especialmente se você tiver uma topologia e sub-redes ativadas, por isso não é considerado uma melhor prática. É suportado, mas requer pensamento cuidadoso, planejamento e testes das ferramentas e processos que você planeja usar.

JayaramBT

Obrigado, Robert, pela sua rápida resposta. Se a Utility Network conter aproximadamente 8 bilhões de registros, a recomendação da Esri ainda é esperar até que todos os lotes sejam carregados antes de habilitar a topologia, ou a Esri recomendaria habilitar periodicamente a topologia e validar partes da rede para reduzir o risco de descobrir problemas de dados no final da migração?

Existem arquiteturas de referência testadas, recomendações de dimensionamento de banco de dados ou implementações de clientes onde os conjuntos de dados da Utility Network excederam 1 bilhão de registros e, em caso afirmativo, qual estratégia de carregamento e habilitação da topologia foi usada?

Exemplo em tempo real abaixo:
Durante nossos testes, habilitar a topologia da rede em aproximadamente 300 milhões de registros levou cerca de 60 horas para ser concluído.
Espera-se que nosso conjunto de dados alvo cresça para aproximadamente 8 bilhões de registros. Com base nessa experiência, estamos preocupados que a habilitação da topologia possa se tornar operacionalmente desafiadora na fase final da migração.
A Esri tem alguma orientação, melhores práticas ou implementações de referência para habilitação da topologia nessa escala?
Especificamente:
Existem implantações documentadas da Utility Network com mais de 1 bilhão de registros? A Esri recomenda uma estratégia faseada para habilitação da topologia em conjuntos de dados extremamente grandes? Existem características conhecidas de escalabilidade ou recomendações de dimensionamento para habilitação da topologia em volumes com vários bilhões de registros? Qual infraestrutura (CPU, RAM, arquitetura de armazenamento) a Esri recomendaria para conjuntos de dados dessa magnitude? A Esri recomendaria validação periódica durante a migração em vez de esperar até que todos os 8 bilhões de registros estejam carregados?

"300 milhões levaram 60 horas, portanto 8 bilhões levarão 1.600 horas."???

RobertKrisher

JayaramBT

Obrigado, Robert, pelas suas sugestões. Minha preocupação é em relação à consolidação final dos dados. Se cada lote for carregado separadamente, qual é a abordagem recomendada pela Esri para mesclar múltiplos conjuntos de dados do Utility Network em um único Utility Network?

Especificamente:

A ferramenta Append pode ser usada para mesclar conjuntos de dados do Utility Network de diferentes lotes?
Se o Append não for recomendado, quais são as abordagens suportadas ou as melhores práticas para consolidar múltiplos carregamentos do Utility Network em um único Enterprise Geodatabase?
Como devem ser gerenciadas as associações do Utility Network (contenção, conectividade, anexo estrutural), Global IDs e a integridade da topologia durante o processo de mesclagem?
A Esri recomendaria carregar todos os lotes diretamente no mesmo conjunto de dados do Utility Network, ou criar Utility Networks separados para cada lote e mesclá-los depois?
Existem considerações relacionadas a desempenho, escalabilidade ou topologia para migrações em larga escala ao usar uma estratégia de carregamento por lotes?

Agradeceríamos a orientação da Esri sobre a abordagem recomendada para lidar com migrações do Utility Network baseadas em lotes nessa escala.

Se eu optar pelo processamento em lotes, como posso mesclar os conjuntos de dados do Utility Network? Por exemplo, se cada lote contiver 100 trocas, como posso mesclar os dados de um conjunto de dados do Utility Network com outro? Posso usar a ferramenta Append ou isso não funcionará? Quais são as abordagens disponíveis para mesclar conjuntos de dados do Utility Network? Por favor, esclareça e sugira a melhor abordagem para mesclar dados do Utility Network.

RobertKrisher

No meu post anterior, eu estava assumindo que você usaria Append, já que é a maneira mais direta de carregar dados e preservar os Global IDs, que são necessários para associações.

As perguntas que você está fazendo estão além do escopo de um simples post na comunidade e são do tipo que requerem um engajamento de consultoria ou serviços. É necessário haver uma discussão aprofundada sobre seu processo de migração de dados, processos de garantia de qualidade, arquitetura e cronograma antes que alguém considere responder a essas perguntas.

Participe da Conversa

Membros conectados podem postar, seguir atualizações e mais. Novo aqui? Registre uma conta gratuita.

Links Rápidos

Community Help
Find useful guides, FAQs, and documents to help you navigate and make the most of Esri Community.