<\/HEAD>
Vous luttez aussi avec la quantité sans cesse croissante de données raster ? Nous oui ! Par exemple avec les données AHN : la carte d'altitude actuelle des Pays-Bas. Comment stocker cela de la manière la plus rentable possible, tout en l'offrant rapidement et de manière évolutive en tant que service web. Ce sont des casse-têtes stimulants sur lesquels travailler, mais aussi instructifs et qui apportent de nouvelles perspectives. Je partage volontiers les connaissances acquises via cet article.<\/SPAN><\/P> <\/SPAN><\/P>Le Actueel Hoogtebestand van Nederland (AHN) a plusieurs éditions. Actuellement, le gouvernement néerlandais adopte la 3e<\/SUP> version : AHN3 (sur plusieurs années). Plusieurs zones des Pays-Bas sont déjà disponibles et les zones restantes suivront dans les prochaines années. Chaque année, il y a donc plus de données et avant que vous ne le sachiez, vous passez de plusieurs GB de données à des TB.<\/SPAN><\/P> <\/SPAN><\/P>Nous cherchions une manière intelligente de stocker ces rasters de l'AHN. Dans notre recherche, nous sommes tombés sur le Meta Raster Format (MRF). C'est un format raster conçu par NASA, utilisé par Esri dans le cadre du service des rasters sur le web et via une infrastructure cloud.<\/SPAN><\/P> <\/SPAN><\/P>Avec MRF, plusieurs composants du raster traditionnel sont séparés en fichiers distincts et les données sont organisées logiquement. Un fichier d'index stocke les tailles et l'organisation géométrique des pixels raster et un fichier de métadonnées fournit les informations principales, telles que le nombre de lignes et colonnes, le type de données, la structure des tuiles (tiling) et la projection. Ainsi, il n'est pas nécessaire de lire ou d'envoyer tout le fichier raster. Cette technique permet même de séparer ces différents types de fichiers et de les placer sur différents volumes de stockage. Très pratique pour l'évolutivité. Les fichiers d'index et de métadonnées peuvent être placés par exemple sur un disque SSD rapide tandis que les fichiers de données sont sur un disque plus lent. Grâce aux fichiers d'index, on peut rapidement déterminer quels fichiers de données doivent être interrogés et le fichier de métadonnées indique comment les interpréter ou les positionner dans l'espace. Cela garantit que la performance est maintenue, mais que tous les fichiers ne doivent pas être sur des volumes rapides, ce qui permet d'économiser des coûts.<\/SPAN><\/P> <\/SPAN><\/P>
<\/SPAN><\/P><\/P>En complément du format de fichier MRF, nous avons également utilisé une méthode relativement nouvelle de compression. Lorsqu'on compresse, les fichiers deviennent souvent plus petits en stockage, mais pour servir des données sur le web, cela signifie que les données doivent être décompressées à chaque utilisation. Les techniques actuelles comme JPEG2000, PNG, Deflate et LZW peuvent bien être utilisées avec MRF, mais ont des inconvénients en termes de réduction du volume ou d'utilisation CPU. Esri a développé une nouvelle méthode de compression appelée Limited Error Raster Compression (LERC). LERC est spécifiquement conçue pour faciliter une compression/décompression rapide et une faible utilisation CPU. LERC peut être utilisée à la fois pour « Lossless » (ce qui ne modifie pas les pixels raster) et pour « Lossy » (ce qui modifie les pixels raster pour optimiser la compression). Si la tolérance est réglée à 0, une compression lossless est appliquée ; si elle est supérieure à zéro, une compression lossy est appliquée. Nous avons appliqué cette dernière au AHN avec une tolérance de 0,01 mètre. Ainsi, la valeur de chaque cellule reste largement dans la déviation stochastique (5 cm pour AHN2/3), mais nous atteignons une compression d'environ un facteur 5-7 par rapport à GeoTIFF sans compression et un facteur 3-4 par rapport à GeoTIFF avec compression LZW. Bien sûr, il est possible de rendre les données encore plus petites, mais alors les valeurs des pixels varieraient également ce qui n'est pas souhaité pour l'AHN.<\/SPAN><\/P> <\/SPAN><\/P>Pour faire court... le tableau suivant illustre bien le point concernant le stockage :<\/SPAN><\/P> <\/SPAN><\/P> <\/P><\/TD>Stockage en GeoTIFF (sans compression)<\/P><\/TD>Stockage en GeoTIFF <\/SPAN><\/P>avec compression LZW<\/SPAN><\/P><\/TD>Stockage en MRF avec compression LERC<\/P><\/TD><\/TR>AHN2 i<\/P><\/TD>408 GB<\/P><\/TD>272 GB <\/P><\/TD>276 GB
61,1 GB
Pour plus d'informations sur MRF et LERC, voir aussi l'article de Peter Becker, chef de produit pour les Images chez Esri Inc.
