OSM2ArcGIS – Publikujte data extrahovaná z OpenStreetMap ve službě prvků s více vrstvami na ArcGIS Online nebo ArcGIS Enterprise

LukasBug

<\/HEAD>

Úvod<\/H1>Extrahování dat z OpenStreetMap (OSM) lze provádět různými způsoby. Projekt OSM nabízí webovou stránku, kde lze data extrahovat ve formátu .pbf, který byl vynalezen OSM. Externí platformy poskytují již předzpracovaná a ověřená data z těchto webových stránek. Overpass API umožňuje uživatelům stáhnout malé rozsahy dat (přibližně na úrovni města a předměstí) prostřednictvím webového požadavku. Toto API funguje jako databázový server a lze jej dotazovat pomocí speciálního databázového dotazovacího jazyka Overpass QL.<\/P><\/P>Volný OSM2ArcGIS Python skript<\/A>, k dispozici na GitHubu, je založen na datech požadovaných přes Overpass QL s použitím upravené verze Python modulu osm_runner od Jeffrey Scarmazziho<\/A>. Požadovaná data jsou zpracována a převedena do formátu ArcGIS SpatialDataframe. Po zpracování dat v ArcGIS Online \/ ArcGIS Enterprise je vytvořena nová feature služba uvnitř uživatelského portálu.<\/P>

<\/P>

V rámci feature služby jsou data organizována alespoň ve třech různých vrstvách pro tři dostupné typy geometrie: bod, polylinie a polygon (více vrstev pro více konfigurací bude vysvětleno později). Další funkce OSM2ArcGIS jsou podrobně vysvětleny v následujících částech tohoto blogového příspěvku.<\/P>

<\/P>

Požadavky<\/H1>Python<\/SPAN><\/H2>Musí být nainstalována následující verze Pythonu a balíčky. Instalace Anacondy pomáhá udržet stávající instalace pythonu funkční vytvořením nezávislých python prostředí. Uživatelé těží z integrovaného rozhraní pro instalaci a správu balíčků v Anacondu.<\/P><\/P>Jak nastavit Python prostředí v Anacondu:<\/P>Stáhněte a nainstalujte verzi 3.x Anaconda<\/SPAN><\/A>. Poté otevřete Anaconda Navigator a vytvořte nové Python prostředí. Verze Pythonu musí být 3.5 nebo novější. Následně nainstalujte tyto balíčky do prostředí:<\/P>     pandas >= 0.20.2<\/A><\/SPAN>: Lze najít v seznamu balíčků v Anacondu a nainstalovat přímo.<\/LI>     click >= 6.7<\/A><\/SPAN>: Lze najít v seznamu balíčků v Anacondu a nainstalovat přímo. Ostatní balíčky se instalují pomocí terminálu zadáním příkazu.<\/LI>     ArcGIS API for Python <= 1.5.0<\/A><\/SPAN>:

&nbsp;&nbsp;&nbsp; conda install -c esri arcgis=1.5.0‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><PRE class="lia-code-sample line-numbers language-none">ArcGIS API for Python musí být rovno nebo nižší než verze 1.5.0, aby správně fungovalo s OSM2ArcGIS.

Pro další informace viz tento problém na GitHubu:&nbsp;<A class="link-titled" href="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" title="https:\/\/github.com\/Esri\/arcgis-python-api\/issues\/335" rel="nofollow noopener noreferrer" target="_blank">API for Python 1.5.1 & 1.5.2: arcgis.geometry.Polygon.is_valid() metoda pro polygony nefunguje  Issue #335  Esri\a0606060606060606060606060606060606060606060606\a...<\/A>&nbsp;
                 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; <\/PRE><\/LI><LI style="text-indent: -18.0pt;"><SPAN style="color: #0366d6;">&nbsp; &nbsp; &nbsp;<A href="http:\/\/docs.python-requests.org\/en\/master\/" style="background-color: initial;" rel="nofollow noopener noreferrer" target="_blank">requests >= 2.18.4<\/A>&nbsp;<\/SPAN><PRE class="lia-code-sample line-numbers language-none"><CODE>&nbsp;&nbsp;&nbsp; pip install requests‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><\/LI><LI style="text-indent: -18.0pt;"><SPAN style="color: #0366d6;">&nbsp; &nbsp; &nbsp;<A href="https:\/\/pypi.org\/project\/progressbar\/" style="background-color: initial;" rel="nofollow noopener noreferrer" target="_blank">progressbar >= 2.5<\/A>&nbsp;<\/SPAN><PRE class="lia-code-sample line-numbers language-none"><CODE>&nbsp;&nbsp;&nbsp; pip install progressbar‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><\/LI><\/UL><H2 id="toc-hId--1537512138" id="toc-hId--1537512138"><SPAN style="font-size: 15px;">Další požadavek<\/SPAN><\/H2><P><SPAN style="font-size: 15px;"><SPAN style="color: #24292e;">Účet ArcGIS Online s</SPAN> <SPAN style="color: #24292e;">uživatelským typem</SPAN><SPAN style="color: #24292e;"> 2 Creator2 (Nové uživatelské typy)<\/SPAN><SPAN style="color: #24292e;"> nebo účet ArcGIS Enterprise s&nbsp;<span style='color:#24292e;'>uživatelským typem</span> 2 Level 22 (pojmenovaný uživatel, pro verzi 10.6 a nižší)<span style='color:#24292e;'> a minimálně rolí 2 Publisher2</span>. (Účet ArcGIS Online Developer také splňuje tyto požadavky)<span style='color:#24292e;'>.<br \/></span></span></P><P></P><H1 id='toc-hId-401811702' id='toc-hId-401811702'>První kroky</H1>
<OL>
<LI>Nastavte své python prostředí podle popisu v sekci 2 Požadavky2.<br \/></LI>
<LI>Stáhněte soubory z <A class='link-titled' href='https:\/\github.com\EsriDE\EsriDE-python-osm2arcgis' title='https:\/\github.com\EsriDE\EsriDE-python-osm2arcgis' rel='nofollow noopener noreferrer' target='_blank'>GitHub repozitáře</A>.<br \/></LI>
<LI>Rozbalte soubory ze staženého zip archivu OSM2ArcGIS do vámi zvolené lokace.<br \/></LI>
<LI>Přizpůsobte obsah souboru runScript.bat tak, aby odpovídal cestám vaší instalace Anaconda, python prostředí a umístění složky OSM2ArcGIS, kam byly projektové soubory rozbaleny ve druhém kroku. Například:<PRE class='lia-code-sample line-numbers language-none'><CODE>set path=C:\your_anaconda_install_path\Anaconda3\Library\bin\;%PATH%
call conda activate OSM2ArcGIS
call "C:\Users\your_username\AppData\Local\conda\conda\envs\your_python_environment"\python.exe "C:\your_project_extraction_path"\MainModule.py‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Přizpůsobte obsah konfiguračního souboru ArcGIS Online \/ Portal for ArcGIS agolconfig.json, aby odpovídal URL vašeho portálu, vašemu uživatelskému jménu a heslu.

Volitelně přizpůsobte obsah konfiguračního souboru OpenStreetMap osmconfig.json na požadovaný region, přidejte konfigurace nebo odstraňte ukázkovou konfiguraci.

Spusťte soubor runScript.bat z vašeho správce souborů

Přejděte do svého portálu ArcGIS Online a podívejte se na výsledky

Klikněte na nejnověji vytvořenou feature službu a použijte panel 2 Vizualizace2 k zobrazení výsledků. Pokud jste neupravili osmconfig.json, výstup by měl vypadat takto:
 

jive-image j-img-original" src="https:\/\/us.v-cdn.net\/6038851\/uploads\/legacyfs\/online\/432367_OSM2ArcGIS.png" \/><\/P><\/P><\/P>Data<\/SPAN><\/H1>Geodata přispěná do projektu OSM nejsou tak standardizovaná jako data poskytovaná vládními organizacemi nebo společnostmi. V OSM wiki jsou pokyny, ale uživatelé používají různé klienty na různých zařízeních a nejsou nuceni vytvářet geometrie specifickým způsobem nebo poskytovat podrobné hodnoty atributů přesně definované v konkrétních polích atributů.<\/P>
To může vést k problémům při parsování dat a spolehnutí se na specifické datové typy. Také použití OpenStreetMap pro mapu s přesnými rychlostmi na úsecích silnic není vždy dobrý nápad, pokud není ve všech úsecích silnic specifikována přesná jednotka. Proto jsme se rozhodli nepoužívat celočíselné ani desetinné datové typy v datech atributů, všechna data atributů kromě časové značky pro každý OSM objekt jsou uložena jako řetězce.<\/P>
Další výzvou při použití OSM je související geometrická datová struktura s objekty way, node a relation. Uzly lze snadno převést na ArcGIS bodové objekty, objekty way, které nemají stejný začátek a konec, lze také snadno převést na ArcGIS polyline objekty. Složitější výstupní geometrie jsou polygony, protože mohou být tvořeny objekty way se stejným začátkem a koncem nebo relacemi, které spojují více objektů way k vytvoření „multipolygonu".<\/P><\/P>Relace mohou také spojovat více bodových objektů nebo bodové a way objekty. Pokud vezmeme v úvahu pouze relační objekty, které tvoří „multipolygony" spojením prvků way, polygonově spojující relace mají atribut „multipolygon" s hodnotou „yes" (viz obrázek níže). Relace netvořící „multipolygon" nejsou v OSM2ArcGIS zohledněny.<\/P><\/P><\/P><\/P>
Konfigurace<\/H1>Konfiguraci OSM2ArcGIS může uživatel definovat ve dvou JSON založených konfiguračních souborech, agolconfig.json a osmconfig.json. První umožňuje nástroji navázat spojení s portálem ArcGIS Enterprise \/ Online. Druhý slouží k nastavení konfigurací pro požadavky na server OpenStreetMap. Vysvětlení všech JSON atributů a příklady konfigurací jsou uvedeny v tabulce níže.<\/SPAN><\/P><\/P>Parametr<\/TH>Použití<\/TH>Příklad<\/TH><\/TR><\/THEAD>"categories"<\/SPAN><\/TD>Řídí export prvků z OpenStreetMap, pro každou novou konfiguraci s jinou geometrií nebo OSM klíčem musí být vytvořena nová kategorie v rámci následujících 5 vlastností: <\/SPAN>

- Požadovaný OSM klíč pro vlastnost "categoryName". Vícenásobné hodnoty zde nejsou povoleny. <\/SPAN>

- Požadované OSM tagy pro vlastnost "categoryValue". Vícenásobné hodnoty v hranatých závorkách. <\/SPAN>

- Vyloučená pole ze služby na ArcGIS Online pro vlastnost "attributeFieldsToExclude". Vícenásobné hodnoty v hranatých závorkách. <\/SPAN>

- Typ geometrie, platné typy jsou "line", "point" nebo "polygon". Vícenásobné hodnoty zde nejsou povoleny. <\/SPAN>

- Nastavte vlastnost "isEnabled" na "yes" pro aktivaci nebo na "no" pro deaktivaci konfigurace. <\/SPAN>Aktuálně nepotřebné konfigurace lze ponechat v konfiguračním souboru.<\/SPAN><\/SPAN><\/TD>"categories" : <\/SPAN>
[ <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" :["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
         "geometryType" : "polygon", <\/SPAN>
         "isEnabled" : "yes" <\/SPAN>
     }, <\/SPAN>
     { <\/SPAN>
         "categoryName" : "public_transport", <\/SPAN>
         "categoryValues" : ["station", "platform"], <\/SPAN>
         "attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
  &nb... pro Python a poté pokračuje v kontrole configfile. Kategorie a Tagy dostupné v OSM jsou staženy z databáze OSM a hodnoty nastavené v configfile jsou porovnány s hodnotami v databázi. Modul ukončí celý program, pokud nastavené hodnoty nebo tagy v configfile nejsou dostupné v databázi platných tagů\/hodnot OSM, je nastavena neplatná boundingbox nebo jiné neplatné hodnoty v rámci configfile.<\/P><\/H2>OSMHelper<\/SPAN><\/H2>Modul OSMHelper je navržen pro nastavení a kontrolu požadavků odesílaných na server OpenStreetMap pomocí rozšířeného modulu osm_runner. Modul je nakonfigurován tak, aby optimalizoval rychlost zpracování vytvářením vláken pro současné stahování dat ze serveru OSM pro konfigurace v configfile.<\/P><\/H2>Osm_runner<\/SPAN><\/H2>Modul Osm_runner byl původně vyvinut Jeffrey Scarmazzi a byl rozšířen o zpracování relačních entit s atributem 22multipolygon22 a hodnotou 22yes22.<\/P><\/H2>Osm_runner_utils<\/SPAN><\/H2>Osm_runner_utils poskytuje konfigurační nastavení používaná s modulem osm_runner. Podrobnosti o formátu požadavku na server OSM lze nastavit, stejně jako výstupní formát odpovědi serveru a další filtry lze změnit úpravou tohoto modulu.<\/P><\/H2>AGOLHelper<\/SPAN><\/H2>AGOLHelper očekává jako vstupní objekt Esri SpatialDataFrame a provádí vytvoření feature service uvnitř uživatelského portálu v ArcGIS Enterprise \/ Online a nahrání dat pro definované konfigurace do alespoň jedné vrstvy pro každý typ geometrie nastavený v osmconfig.json. Nahrávání do portálu probíhá pomocí více částí dat, aby se předešlo chybám serveru u velkých datasetů.<\/P><\/P>Závěr<\/H1>OSM2ArcGIS usnadňuje přenos dat z OSM do portálu ArcGIS Enterprise \/ Online. Stačí pouze nastavit vaši instalaci pythonu, nakonfigurovat nástroj přes JSON založené configfiles a ujistit se, že vám administrátor portálu udělil alespoň roli publisher.<\/P>Pokud máte jakékoli dotazy nebo připomínky, neváhejte mě kontaktovat nebo zanechat komentář v sekci níže. <\/SPAN><\/P><\/P>Skript je k dispozici ke stažení na GitHubu<\/A><\/SPAN><\/P>

Šťastné zpracování dat, Lukas <\/SPAN><\/P>(E-Mail:

lukas.bug@aol.de<\/A>)<\/P><\/BODY><\/HTML>