<\/HEAD>
¿Tambien luchas con la cantidad cada vez mayor de rasterdata? Nosotros s! Por ejemplo, con los datos AHN: el mapa de alturas actual de los Pases Bajos. ¿Cómo almacenamos eso de la manera ms rentable posible, pero al mismo tiempo lo ofrecemos rpido y escalable como servicio web? Son rompecabezas desafiantes para trabajar, pero tambin educativos y proporcionan nuevos conocimientos. Me gusta compartir los conocimientos adquiridos a travs de este artculo.<\/SPAN><\/P> <\/SPAN><\/P>El Actueel Hoogtebestand van Nederland (AHN) tiene varias ediciones. Actualmente, el gobierno holandés est ganando la tercera versin: AHN3 (a lo largo de varios aos). Varias zonas de los Pases Bajos ya estn disponibles y en los prximos aos seguirn las zonas restantes. Cada ao se agregan ms datos y antes de que te des cuenta pasars de muchos GB de datos a TB.<\/SPAN><\/P> <\/SPAN><\/P>Estuvimos buscando una manera inteligente de almacenar estos raster del AHN. En nuestra bsqueda nos encontramos con el Meta Raster Formaat (MRF). Este es un formato raster ideado por NASA, que Esri utiliza para servir raster en la web y a travs de infraestructura cloud.<\/SPAN><\/P> <\/SPAN><\/P>En MRF, varios componentes del raster tradicional se dividen en archivos separados y los datos se organizan lgicamente. A travs de un archivo de ndice se almacenan los tamaos y la organizacin geomtrica de los pixeels del raster, y un archivo de metadatos proporciona la informacin principal, como el nmero de filas y columnas, el tipo de dato, la configuracin de las teselas (tiling) y la proyeccin. Esto evita que sea necesario leer o enviar todo el archivo raster completo. Gracias a esta tcnica, incluso es posible separar estos diferentes tipos de archivos y colocarlos en diferentes volmenes de almacenamiento. Muy prctico para escalar. Los archivos ndice y metadatos se pueden colocar, por ejemplo, en un disco SSD rpido y los archivos de datos en un disco ms lento. Gracias a los archivos ndice se puede determinar rpidamente qu archivos de datos deben ser consultados y el archivo de metadatos indica cmo interpretarlos o ubicarlos en el espacio. Esto asegura que el rendimiento se mantenga, pero que no todos los archivos tengan que estar en volmenes de almacenamiento rpidos, lo que permite ahorrar costos.<\/SPAN><\/P> <\/SPAN><\/P>
<\/SPAN><\/P><\/P>Adem\u2014s del formato MRF, tambi\u2014n hemos utilizado un m\u2014todo relativamente nuevo para comprimir. Al comprimir, los archivos suelen ser m\u2014s peque\u2014os en almacenamiento, pero para servir datos por la web significa que los datos deben ser descomprimidos cada vez para poder usarlos. T\u2014cnicas actuales como JPEG2000, PNG, Deflate y LZW pueden usarse bien con MRF, pero tienen desventajas en cuanto a reducci\u2014n del volumen o uso del CPU. Esri ha desarrollado un nuevo m\u2014todo de compresi\u2014n llamado Limited Error Raster Compression (LERC). LERC fue desarrollado espec\u008Dficamente para facilitar compresi\u2014n/descompresi\u2014n r\u0026aacute;pida y bajo uso del CPU. LERC puede usarse tanto para 'Lossless' (donde no se modifican los pixeels del raster) como para 'Lossy' (donde se modifican los pixeels para optimizar la compresi\u2014n). Si la tolerancia se establece en cero, se aplica compresi\u2014n lossless y si es mayor que cero se aplica compresi\u2014n lossy. Esto \u2026 lo aplicamos al AHN con una tolerancia de 0,01 m. Esto mantiene el valor de cada celda dentro del margen estoc\u0026aacute;stico (5 cm para AHN2/3), pero logramos una compresi\u2014n aproximadamente entre cinco y siete veces comparado con GeoTIFF sin compresi\u2014n y entre tres y cuatro veces comparado con GeoTIFF con compresi\u2014n LZW. Por supuesto es posible hacer los datos aun m\u0026aacute;s peque\u0026ntilde;os, pero entonces los valores pixel variar\u0026aacute;n y esto no es deseable para AHN.<\/SPAN><\/P> <\/SPAN><\/P>Para resumir... la siguiente tabla deja claro el punto sobre almacenamiento:<\/SPAN><\/P> <\/SPAN><\/P> <\/P><\/TD>Almacenamiento como GeoTIFF (sin compresi\u2014n)<\/P><\/TD>Almacenamiento como GeoTIFF <\/SPAN><\/P>con compresi\u2014n LZW<\/SPAN><\/P><\/TD>Almacenamiento como MRF con compresi\u2014n LERC<\/P><\/TD><\/TR>276 GB
61,1 GB
Para más información sobre MRF y LERC vea también el artículo de Peter Becker, Productmanager para Beeldmateriaal en Esri Inc.
