Bei der Verarbeitung von Luftbilddaten innerhalb von ArcGIS Reality Studio steht man häufig vor der Herausforderung, wie man mit der enormen Datenmenge umgeht und die langen Verarbeitungszeiten bewältigt, die erforderlich sind, um die gewünschten Ausgabeprodukte zu erzeugen.<\/P>
Eine Möglichkeit, damit umzugehen, besteht darin, die Verarbeitung auf mehrere Maschinen zu verteilen und dabei die verteilten Verarbeitungsfunktionen von Reality Studio zu nutzen. Die meisten Kunden verwenden einen zentralisierten Netzwerkspeicher, um Daten zwischen den Verarbeitungsknoten verfügbar zu machen. Dennoch ist die Verarbeitung auch für Benutzer möglich, die RAID-Speicher in ihre Workstations integriert haben. Es bedarf einiger Überlegungen, und dieser Blogbeitrag soll die besten Praktiken für die Arbeit mit solcher Hardware beschreiben.<\/P>
Zu berücksichtigende Punkte<\/H2>Der Übergang von der Verarbeitung auf einer einzelnen Workstation (oder mehreren unabhängigen Workstations) zur verteilten Verarbeitung über mehrere Maschinen erfordert einige Überlegungen zu folgenden Punkten:<\/P>Datenzugänglichkeit für alle Knoten<\/LI>schneller Festplatten-Lese-\/Schreibzugriff<\/LI>schneller Datentransfer zwischen Maschinen<\/LI><\/UL>Datenzugänglichkeit für alle Knoten<\/H2>Bei der Verarbeitung in einer verteilten Umgebung erwarten Reality Studio-Maschinen, dass Daten vom gleichen Pfad aus zugänglich sind. Pfade können durch Laufwerksbuchstaben, als lokale Laufwerksbuchstaben gemappte Netzwerkfreigaben, UNC-Pfade von Netzwerkfreigaben oder sogar Cloud-Ressourcen definiert werden. Wichtig ist, dass der Zugriff auf die Daten auf allen Maschinen konsistent ist (d.h.: Die Eingabe desselben Pfads gewährt Zugriff auf dieselbe Datei).<\/P>Im Folgenden werden verschiedene Lösungen vorgestellt, die alle den erforderlichen Datenzugriff ermöglichen. Die Optionen sind nach dem erforderlichen Konfigurationsaufwand geordnet. Lösung 3 wird dringend empfohlen, da sie das Fehlerpotenzial bei der Arbeit mit Reality Studio drastisch minimiert.<\/P>Beispielszenario:<\/STRONG> Jack hat im Büro 2 Workstations, jeweils mit einem lokalen RAID-Laufwerk zur Datenspeicherung. Er möchte den Speicher beider RAID-Laufwerke für seine verteilte Verarbeitung mit Reality Studio nutzen.<\/P>Lösung 1: Zugriff auf Laufwerke über UNC-Pfade<\/H3>Teilen Sie die RAID-Laufwerke beider Workstations, um sie im gesamten Netzwerk verfügbar zu machen. Nach dem Teilen können Sie UNC-Pfade bei der Arbeit mit Reality Studio verwenden.<\/P>Durch die Verwendung von UNC-Pfaden zu den RAID-Laufwerken kann jede Maschine dieselben Daten durch Eingabe desselben Pfads erreichen. Nachteilig ist, dass sich der Benutzer daran erinnern muss, während des gesamten Workflows UNC-Pfade zu verwenden und möglicherweise versucht ist, Dateien/Ordner direkt vom lokalen "D:"-Laufwerk auszuwählen.<\/P>
Workstations mit geteilten RAID-Laufwerken (blau), die über ihre UNC-Pfade zugänglich sind<\/span><\/span><\/P>Beispiel:
<\/STRONG>Jacks Maschinen "Node1" und "Node2" haben beide ihr RAID als "D:" eingerichtet. Zur Konfiguration dieser Lösung führt er folgende Schritte aus:<\/P>Er teilt sie im Netzwerk als "\\Node1\d" bzw. "\\Node2\d".<\/SPAN><\/LI>Das war's!<\/SPAN><\/LI><\/OL>Bei der Arbeit in Reality Studio verwendet er immer diese UNC-Pfade zum Zugriff auf die Daten anstatt direkt auf die Laufwerke zu klicken, wenn er Dateien und Ordner auswählt.<\/SPAN><\/P>Lösung 2: Verwendung gemappter Laufwerke zur Erstellung einer passenden Struktur<\/H3>Der Zugriff auf freigegebene Laufwerke kann durch das Mapping auf einen Laufwerksbuchstaben vereinfacht werden. Um sicherzustellen, dass Pfade zu Dateien auf allen Maschinen identisch bleiben, muss die Struktur der gemappten Laufwerke identisch sein.<\/P>Teilen Sie die RAID-Laufwerke beider Maschinen im Netzwerk und mappen Sie anschließend jedes freigegebene Laufwerk auf allen Maschinen unter Verwendung derselben Laufwerksbuchstaben-Zuordnung.<\/P>Durch das Mapping jedes RAID-Laufwerks auf einen Laufwerksbuchstaben hat der Benutzer diese beim Durchsuchen von Dateien oder beim Angeben von Ordnerstandorten stets sichtbar. Dies vereinfacht den Zugriff auf Daten von RAID-Laufwerken der verschiedenen Maschinen, birgt jedoch weiterhin das Risiko, dass ein Benutzer versehentlich direkt vom lokalen "D:"-Laufwerk Daten abruft.<\/P>
Setup mit zusätzlichen gemappten Laufwerken (grau), die auf RAID-Laufwerke (blau) an Workstations zeigen<\/span><\/span><\/P>Beispiel:
<\/STRONG>Die Einrichtung dieser Lösung ähnelt sehr Lösung 1:<\/P>Jack macht seine Laufwerke im Netzwerk als "\\Node1\d" und "\\Node2\d" verfügbar.<\/SPAN><\/LI>Auf beiden Maschinen erstellt er ein gemapptes Laufwerk "F:", das auf "\\Node1\d" zeigt.<\/SPAN><\/LI>Ebenso erstellt er ein gemapptes Laufwerk "G:" auf beiden Maschinen, das auf "\\Node2\d" zeigt.<\/SPAN><\/LI><\/OL>Dies vereinfacht nun seine Arbeit in Reality Studio. Er muss nicht mehr die UNC-Pfade eingeben, sondern kann direkt die gemappten Laufwerke "F:" und "G:" zum Zugriff auf die Daten verwenden. Er muss jedoch weiterhin sicherstellen, dass er mit den korrekten gemappten Pfaden arbeitet, um den Zugriff auf die Daten zu ermöglichen.<\/SPAN><\/P>Lösung 3 (empfohlen): Nutzung sowohl physischer als auch gemappter Netzlaufwerke<\/H3>Ändern Sie den Laufwerksbuchstaben der RAIDs so, dass sie unter den Maschinen eindeutig sind. Teilen Sie die Laufwerke und mappen Sie sie auf jeder Maschine so, dass sie auf denselben Speicher verweisen. Auf diese Weise findet ein Knoten eine Datei/einen Ordner immer am gleichen Pfadort; manchmal befindet sich dieser jedoch auf einem physischen RAID-Laufwerk und manchmal über das Netzwerk auf einem entfernten RAID-Laufwerk. Es besteht kein Risiko mehr, Dateien/Ordner vom falschen Laufwerk auszuwählen.<\/P>
Hybrides Setup mit physischen RAID-Laufwerken (blau) und gemappten Netzlaufwerken (grau)<\/span><\/span><\/P>Beispiel:<\/STRONG> Jack möchte vermeiden, Dateien vom "D:"-Laufwerk auszuwählen, da ihm bekannt ist, dass dies zu Verarbeitungsfehlern führt. Mit diesem einfachen zusätzlichen Schritt kann er den korrekten Zugriff auf alle Laufwerke sicherstellen:<\/P>Jack ändert die Laufwerksbuchstaben seiner RAID-Laufwerke so, dass sie unter den Maschinen eindeutig sind. Auf "Node1" wird das RAID-Laufwerk in "F:" geändert; auf "Node2" ändert er den Buchstaben in "G:".<\/LI>Auf "Node1" erstellt er nun ein gemapptes Laufwerk "G:", das auf das entsprechende RAID-Laufwerk der anderen Workstation "\\Node2\g" zeigt.<\/LI>Ebenfalls erstellt er auf "Node2" ein gemapptes Laufwerk "F:", das auf das RAID-Laufwerk der Workstation "Node1" über den Pfad "\\Node1\f" zeigt.<\/LI><\/OL>Mit diesem Setup kann Jack diese Laufwerke nun auf beiden Maschinen durchsuchen, um Dateien und Ordner zu erreichen. Während der Verarbeitung verwendet Reality Studio die Laufwerksbuchstaben; je nachdem, welche Maschine die Verarbeitung ausführt, verweist dieser Buchstabe entweder auf das physische RAID-Laufwerk oder das gemappte Laufwerk zum RAID-Laufwerk der anderen Workstation.<\/P>Schneller Festplatten-Lese- und Schreibzugriff<\/H2>Bezüglich des schnellen Datenzugriffs sind keine besonderen Überlegungen erforderlich beim Wechsel zu einer verteilten Verarbeitungsumgebung. In beiden Fällen (lokal und verteilt) kann die Geschwindigkeit beim Zugriff auf Daten verbessert werden durch Nutzung von SSD-Festplatten und Beachtung der Ein-/Ausgabegeschwindigkeiten der verwendeten Festplatten.<\/P>Schneller Datentransfer zwischen Maschinen<\/H2>Ein wesentlicher Bestandteil verteilter Verarbeitung ist der Datentransfer von/zur Verarbeitungsmaschine über das Netzwerk. Mehrere Maschinen greifen wahrscheinlich gleichzeitig beim Verarbeiten desselben Projekts auf Daten zu, die auf den RAID-Laufwerken gespeichert sind. Daher wird empfohlen, hochwertige Netzwerkkarten mit hohen Übertragungsgeschwindigkeiten auszuwählen.<\/P>Für reguläre Verarbeitungsknoten reicht normalerweise eine 1-Gbit-Netzwerkverbindung aus. Bei NAS oder Workstations mit RAID-Laufwerken, welche Daten an mehrere Verarbeitungsknoten liefern, empfehlen wir Investitionen in 10-Gbit-Verbindungen, da dies erheblich hilft um den Datentransfer zwischen Maschinen zu verbessern.<\/P>Zusammenfassung<\/H2>Verteilte Verarbeitung mit RAID-Laufwerken wird von Reality Studio nativ unterstützt und kann durch Berücksichtigung der oben genannten Punkte vereinfacht und optimiert werden.<\/P>Wenn Sie Fragen haben oder Hilfe bei der Konfiguration Ihrer Verarbeitungsumgebung benötigen, wenden Sie sich bitte an Ihren Esri-Vertriebspartner, den Esri-Support oder hinterlassen Sie unten einen Kommentar.<\/P>
