<\/HEAD>
Také zápasíte s neustále rostoucím množstvím rastrových dat? My ano! Například s daty AHN: aktuální výšková mapa Nizozemska. Jak je uložit co nejefektivněji z hlediska nákladů, ale zároveň je rychle a škálovatelně nabídnout jako webovou službu. To jsou náročné hádanky k řešení, ale také poučné a přinášejí nové poznatky. Rád sdílím získané poznatky prostřednictvím tohoto článku.<\/SPAN><\/P> <\/SPAN><\/P>Aktuální výškový soubor Nizozemska (AHN) má několik vydání. V současné době nizozemská vláda získává třetí verzi: AHN3 (za několik let). Několik oblastí Nizozemska je již dostupných a v následujících letech budou následovat zbývající oblasti. Každý rok tedy přibývá více dat a než se nadějete, přejdete od mnoha GB dat k TB.<\/SPAN><\/P> <\/SPAN><\/P>Hledali jsme chytrý způsob, jak tato rastry AHN uložit. Při našem hledání jsme narazili na Meta Raster Formát (MRF). Jedná se o rastrový formát vyvinutý NASA, který Esri používá v rámci poskytování rasterů na webu a přes cloudovou infrastrukturu.<\/SPAN><\/P> <\/SPAN><\/P>U MRF jsou některé části tradičního rastru rozděleny do samostatných souborů a data jsou logicky uspořádána. Pomocí indexového souboru jsou uloženy velikosti a geometrická organizace rastrových pixelů a metadatový soubor poskytuje základní informace, jako je počet řádků a sloupců, datový typ, uspořádání dlaždic (tiling) a projekce. Díky tomu není nutné číst nebo přenášet celý rastrový soubor najednou. Tato technologie také umožňuje oddělit různé typy souborů a umístit je na různá úložiště. To je velmi praktické pro škálování. Indexové a metadatové soubory můžete například umístit na rychlý SSD disk a datové soubory na pomalejší disk. Díky indexovým souborům lze rychle určit, které datové soubory je třeba dotazovat, a metadatový soubor ukazuje, jak je interpretovat nebo umístit do prostoru. To zajišťuje zachování výkonu, aniž by všechny soubory musely být na rychlých úložištích, což umožňuje úsporu nákladů.<\/SPAN><\/P> <\/SPAN><\/P>
<\/SPAN><\/P><\/P>Kromě formátu MRF jsme použili také relativně novou metodu komprese. Při kompresi se soubory často zmenší z hlediska úložiště, ale při poskytování dat přes web to znamená, že data musí být pokaždé rozbalena pro použití. Současné techniky jako JPEG2000, PNG, Deflate a LZW lze dobře použít v kombinaci s MRF, ale mají nevýhody z hlediska redukce objemu nebo využití CPU. Esri vyvinula novou metodu komprese nazvanou Limited Error Raster Compression (LERC). LERC byla speciálně vyvinuta pro rychlou kompresi/dekompresi a nízké využití CPU. LERC může být použita jak pro 'Lossless' (při které nejsou rastrové pixely upravovány), tak pro 'Lossy' (při které jsou rastrové pixely upraveny pro optimální kompresi). Pokud je tolerance nastavena na nulu, aplikuje se bezeztrátová komprese, při hodnotě vyšší než nula pak ztrátová komprese. Toto poslední jsme aplikovali na AHN s tolerancí 0,01 m. Hodnota každé buňky tak zůstává výrazně uvnitř statistické odchylky (5 cm pro AHN2/3), ale dosahujeme komprese přibližně v poměru 5-7 oproti GeoTIFF bez komprese a v poměru 3-4 oproti GeoTIFF s LZW kompresí. Samozřejmě je možné data ještě více zmenšit, ale pak by se hodnoty pixelů měnily, což u AHN není žádoucí.<\/SPAN><\/P> <\/SPAN><\/P>Dlouhý příběh krátce… následující tabulka jasně ukazuje rozdíl v ukládání:<\/SPAN><\/P> <\/SPAN><\/P> <\/P><\/TD>Uložení jako GeoTIFF (bez komprese)<\/P><\/TD>Uložení jako GeoTIFF <\/SPAN><\/P>s LZW kompresí<\/SPAN><\/P><\/TD>Uložení jako MRF s LERC kompresí<\/P><\/TD><\/TR>AHN2 i<\/P><\/TD>408 GB<\/P>272 GB <\/P>72,7 GB<\/P>AHN2 r<\p> 465 GB(odhad)<\p> 316 GB<\p> 97,1 GB<\p> AHN3 i(ca70%kompletníproNL)<\p> 391 GB(odhad)<\p> 241 GB<\p> 46,3 GB<\p> AHN3 r(ca70%kompletníproNL)<\p> 276 GB
61,1 GB |
Pro více informací o MRF a LERC viz také článek od Petera Beckera, produktového manažera pro Beeldmateriaal u Esri Inc.
