<\/HEAD>
Kämpfst du auch mit der ständig wachsenden Menge an Rasterdaten? Wir schon! Zum Beispiel mit den AHN-Daten: der aktuellen Höhenkarte der Niederlande. Wie speichern wir diese so kosteneffizient wie möglich, bieten sie aber gleichzeitig auch schnell und skalierbar als Webservice an. Das sind herausfordernde Rätsel, an denen man arbeiten kann, aber auch lehrreich und es liefert wieder neue Erkenntnisse. Ich teile die gewonnenen Erkenntnisse gerne über diesen Artikel.<\/SPAN><\/P> <\/SPAN><\/P>Das Aktuelle Höhenbestand der Niederlande (AHN) hat mehrere Ausgaben. Im Moment gewinnt die niederländische Regierung die 3e<\/SUP> Version ein: AHN3 (über mehrere Jahre). Mehrere Gebiete der Niederlande sind bereits verfügbar und in den kommenden Jahren folgen die restlichen Gebiete. Es kommt also jedes Jahr mehr Daten hinzu und ehe man sich versieht, geht man von vielen GBs an Daten zu TBs.<\/SPAN><\/P> <\/SPAN><\/P>Wir suchten nach einer intelligenten Methode, um diese Raster des AHN zu speichern. Auf unserer Suche stoßen wir auf das Meta Raster Format (MRF). Dies ist ein Rasterformat, das von NASA entwickelt wurde, das Esri im Rahmen des Bereitstellens von Rastern im Web und über Cloud-Infrastruktur verwendet.<\/SPAN><\/P> <\/SPAN><\/P>Beim MRF werden einige Teile des traditionellen Rasters in einzelne Dateien aufgeteilt und die Daten logisch angeordnet. Über eine Indexdatei werden die Größen und die geometrische Organisation der Rasterpixel gespeichert und eine Metadatendatei gibt die wichtigsten Informationen wieder, wie die Anzahl der Reihen und Spalten, den Datentyp, die Anordnung der Kacheln (tiling) und Projektion. Dadurch muss nicht die gesamte Rasterdatei gelesen oder gesendet werden. Durch diese Technik ist es sogar möglich, diese verschiedenen Dateitypen zu trennen und auf verschiedenen Speichervolumen abzulegen. Sehr praktisch für das Skalieren. Die Index- und Metadatendateien legt man dann beispielsweise auf eine schnelle SSD-Festplatte und die Datendateien auf eine langsamere Festplatte. Durch die Indexdateien kann schnell bestimmt werden, welche Datendateien abgefragt werden müssen, und die Metadatendatei gibt an, wie diese zu interpretieren oder im Raum zu platzieren sind. Dies sorgt dafür, dass die Leistung erhalten bleibt, aber nicht alle Dateien auf schnellen Speicherplätzen liegen müssen, wodurch Kosten eingespart werden können.<\/SPAN><\/P> <\/SPAN><\/P>
<\/SPAN><\/P><\/P>Zusätzlich zum MRF-Dateiformat haben wir auch eine relativ neue Kompressionsmethode verwendet. Bei Kompression werden Dateien oft kleiner in Bezug auf den Speicherplatz, aber für das Bereitstellen von Daten über das Web bedeutet dies, dass die Daten jedes Mal entpackt werden müssen, um sie verwenden zu können. Aktuelle Techniken wie JPEG2000, PNG, Deflate und LZW können gut in Kombination mit MRF verwendet werden, haben aber Nachteile hinsichtlich Volumenreduktion oder CPU-Nutzung. Esri hat eine neue Kompressionsmethode entwickelt, genannt Limited Error Raster Compression (LERC). LERC wurde speziell entwickelt, um schnelle Kompression/ Dekompression und eine geringe CPU-Auslastung zu ermöglichen. LERC kann sowohl für Lossless (dadurch werden Rasterpixel nicht verändert) als auch für Lossy (dadurch werden Rasterpixel angepasst, um optimal komprimieren zu können) verwendet werden. Wenn die Toleranz auf 0 gesetzt wird, wird eine verlustfreie Kompression angewendet und bei einem Wert größer als null eine verlustbehaftete Kompression. Letzteres haben wir beim AHN mit einer Toleranz von 0,01 m angewendet. Dadurch bleibt der Wert jeder Zelle weit innerhalb der stochastischen Abweichung (5 cm für AHN2/3), aber wir erreichen dennoch eine Kompression von etwa dem Faktor 5-7 im Vergleich zu GeoTIFF ohne Kompression und einem Faktor von 3-4 im Vergleich zu GeoTIFF mit LZW-Kompression. Natürlich ist es möglich, die Daten noch kleiner zu machen, aber dann würden auch die Pixelwerte variieren und das ist für das AHN nicht erwünscht.<\/SPAN><\/P> <\/SPAN><\/P>Langer Rede kurzer Sinn die folgende Tabelle macht den Punkt bezüglich Speicherung deutlich:<\/SPAN><\/P> <\/SPAN><\/P> <\/P><\/TD>Speicherung als GeoTIFF (ohne Kompression)<\/P><\/TD>Speicherung als GeoTIFF <\/SPAN><\/P>mit LZW-Kompression<\/SPAN><\/P><\/TD>Speicherung als MRF mit LERC-Kompression<\/P><\/TD><\/TR>AHN2 i<\/P><\/TD>408 GB<\/P>272 GB <\/P>72,7 GB<\/P> 1pt solid windowtext; padding: 0in 5.4pt; height: 50px;" width="175">276 GB
61,1 GB
Für weitere Informationen über MRF und LERC siehe auch den Artikel von Peter Becker, Produktmanager für Bildmaterial bei Esri Inc.
