Ao processar dados aerotransportados dentro do ArcGIS Reality Studio, um desafio comum que os usuários enfrentam é como lidar com a enorme quantidade de dados e gerenciar os longos tempos de processamento necessários para gerar os produtos de saída desejados.<\/P>
Uma forma de lidar com isso é distribuir o processamento entre várias máquinas, aproveitando as capacidades de processamento distribuído que o Reality Studio oferece. A maioria dos clientes usará um armazenamento de rede centralizado para tornar os dados disponíveis entre os nós de processamento. Dito isso, o processamento certamente também é possível para usuários que integraram armazenamento RAID em suas estações de trabalho. Algumas considerações são necessárias, e este post no blog tem como objetivo descrever as melhores práticas para trabalhar com esse tipo de hardware.<\/P>
Pontos a serem abordados<\/H2>A transição do processamento em uma única estação de trabalho (ou múltiplas estações independentes) para distribuir o processamento entre várias máquinas exigirá algumas considerações para os seguintes pontos:<\/P>acessibilidade dos dados para todos os nós<\/LI>acesso rápido de leitura\/gravação em disco<\/LI>transferência rápida de dados entre máquinas<\/LI><\/UL>Acessibilidade dos dados para todos os nós<\/H2>Ao processar em um ambiente distribuído, as máquinas Reality Studio esperam que os dados sejam acessíveis pelo mesmo caminho. Os caminhos podem ser definidos por letras de unidade, compartilhamentos de rede mapeados como letras locais, caminhos UNC de compartilhamentos de rede ou até recursos na nuvem. O importante é que o acesso aos dados seja consistente em todas as máquinas (isto é: inserir o mesmo caminho fornecerá acesso ao mesmo arquivo).<\/P>Diferentes soluções são apresentadas abaixo que todas permitem o acesso necessário aos dados. As opções são mostradas na ordem do esforço de configuração necessário para configurá-las. A Solução 3 é altamente recomendada pois minimiza drasticamente o potencial de erros que um usuário pode cometer ao trabalhar com Reality Studio.<\/P>Cenário exemplo:<\/STRONG> Jack tem 2 estações de trabalho no escritório, cada uma contendo uma unidade RAID local para armazenamento de dados. Ele quer usar o armazenamento das duas unidades RAID para seu processamento distribuído com Reality Studio.<\/P>Solução 1: Acessar unidades usando caminhos UNC<\/H3>Compartilhe as unidades RAID das duas estações para torná-las disponíveis pela rede. Uma vez compartilhadas, você pode usar caminhos UNC ao trabalhar com Reality Studio.<\/P>Ao usar caminhos UNC para as unidades RAID, qualquer máquina poderá acessar os mesmos dados inserindo o mesmo caminho. A desvantagem é que o usuário precisa lembrar-se de usar caminhos UNC durante todo o fluxo de trabalho e pode ser tentado a selecionar arquivos\/pastas diretamente da unidade local "D:".<\/P>
Estações com unidades RAID compartilhadas (azul) acessíveis via seus caminhos UNC<\/span><\/span><\/P>Exemplo:
<\/STRONG>As máquinas do Jack "Node1" e "Node2" têm suas unidades RAID configuradas como "D:". Para configurar essa solução ele realiza os seguintes passos:<\/P>Ele as compartilha pela rede como "\\Node1\d" e "\\Node2\d", respectivamente.<\/SPAN><\/LI>É isso!<\/SPAN><\/LI><\/OL>Ao trabalhar dentro do Reality Studio, ele sempre usa esses caminhos UNC para acessar os dados em vez de clicar diretamente nas unidades ao selecionar arquivos e pastas.<\/SPAN><\/P>Solução 2: Usar unidades mapeadas para criar uma estrutura correspondente<\/H3>Acessar unidades compartilhadas pode ser simplificado mapeando-as para uma letra de unidade. Para garantir que os caminhos para arquivos permaneçam idênticos entre as máquinas, a estrutura das unidades mapeadas precisa ser idêntica.<\/P>Compartilhe as unidades RAID das duas máquinas para torná-las disponíveis pela rede. Continue mapeando cada unidade compartilhada em todas as máquinas, usando a mesma associação de letra da unidade.<\/P>Ao mapear cada unidade RAID para uma letra, o usuário as tem sempre visíveis ao navegar por arquivos ou especificar locais de pastas. Isso simplifica o acesso aos dados das unidades RAID das diferentes máquinas, mas ainda existe o risco do usuário acessar acidentalmente dados diretamente da unidade local "D:".<\/P>
Configuração com unidades mapeadas adicionais (cinza) apontando para as unidades RAID (azul) nas estações<\/span><\/span><\/P>Exemplo:
<\/STRONG>A configuração desta solução é muito semelhante à solução 1:<\/P>Jack torna suas unidades disponíveis pela rede como "\\Node1\d" e "\\Node2\d".<\/SPAN><\/LI>Em ambas as máquinas ele cria uma unidade mapeada "F:" que aponta para "\\Node1\d".<\/SPAN><\/LI>De forma semelhante ele cria uma unidade mapeada "G:" em ambas as máquinas que aponta para "\\Node2\d".<\/SPAN><\/LI><\/OL>Isto agora simplifica seu trabalho dentro do Reality Studio. Ele não precisa mais digitar os caminhos UNC, mas pode usar diretamente as unidades mapeadas "F:" e "G:" para acessar os dados. Ele ainda precisa garantir trabalhar com os caminhos mapeados corretos para permitir acesso aos dados.<\/SPAN><\/P>Solução 3 (recomendada): Aproveitar tanto unidades físicas quanto unidades mapeadas na rede<\/H3>Mude a letra da unidade dos RAIDs para que sejam únicas entre as máquinas. Compartilhe as unidades e em cada máquina mapeie-as para que apontem ao mesmo armazenamento. Dessa forma um nó sempre encontrará um arquivo\pasta no mesmo local do caminho, mas às vezes isso será numa unidade física RAID e outras vezes através da rede numa unidade remota RAID. Não há mais risco de escolher arquivos\pastas da unidade errada.<\/P>
Configuração híbrida com unidades físicas RAID (azul) e unidades mapeadas na rede (cinza)<\/span><\/span><\/P>Exemplo:<\/STRONG> Jack quer evitar escolher arquivos da unidade "D:", pois sabe que isso levará a erros no processamento. Com este simples passo adicional, ele pode garantir acesso correto a todas as unidades:<\/P>Jack muda as letras das suas unidades RAID para que sejam únicas entre as máquinas. No "Node1", a unidade RAID é alterada para "F:", enquanto no "Node2", ele muda a letra da unidade para "G:".<\/LI>No "Node1", ele agora cria uma unidade mapeada "G:" que aponta para a unidade RAID correspondente na outra estação "\\Node2\g".<\/LI>De forma semelhante, no "Node2", ele cria uma unidade mapeada "F:" que aponta para a unidade RAID da estação "Node1" usando o caminho "\\Node1\f".<\/LI>Com essa configuração, Jack agora pode navegar por essas unidades em ambas as máquinas para acessar arquivos e pastas. Durante o processamento, Reality Studio usará as letras das unidades e dependendo da máquina onde a tarefa for executada, essa letra apontará então ou para a unidade física RAID ou para a unidade mapeada apontando à unidade RAID na outra estação.<\/P>Acesso rápido de leitura/gravação em disco<\/H2>Quanto ao acesso rápido aos dados não há consideração especial necessária ao migrar para uma configuração distribuída. Em ambos os casos (local e distribuído), a velocidade no acesso aos dados pode ser melhorada utilizando discos SSD e prestando atenção às velocidades de entrada/saída dos discos usados.<\/P>Transferência rápida de dados entre máquinas<\/H2>Uma parte essencial do processamento distribuído é que os dados são transferidos entre/para máquinas de processamento através da rede. Múltiplas máquinas provavelmente acessarão dados armazenados nas unidades RAID ao processar o mesmo projeto. Portanto, recomenda-se selecionar placas de rede de alta qualidade com altas velocidades de transferência.<\/P>Para nós regulares de processamento, uma conexão de rede 1gbit normalmente será suficiente. Quando se trata de NAS ou estações com unidades RAID que servem dados a múltiplos nós de processamento, recomendamos investir em conexões 10gbit, pois isso ajudará muito para melhorar a transferência de dados entre máquinas.<\/P>Resumo<\/H2>O processamento distribuído com unidades RAID é suportado nativamente pelo Reality Studio e pode ser simplificado e otimizado considerando os pontos acima.<\/P>Se você tiver dúvidas ou precisar de ajuda para configurar seu ambiente de processamento, por favor, entre em contato com seu Distribuidor Esri, Suporte Esri ou deixe um comentário abaixo.<\/P>
