OSM2ArcGIS – OpenStreetMapから抽出したデータをArcGIS OnlineまたはArcGIS Enterpriseの複数レイヤーを持つフィーチャ サービスとして公開する

LukasBug

<\/HEAD>

はじめに<\/H1>OpenStreetMap (OSM) からのデータ抽出はさまざまな方法で行うことができます。OSM プロジェクトには、OSM 独自の .pbf フォーマットでデータを抽出できるウェブサイトがあります。外部プラットフォームは、ウェブサイトから既に前処理および検証されたデータを提供しています。Overpass API を使用すると、ユーザーはウェブリクエストを介して小規模な範囲（おおよそ町や郊外レベル）のデータをダウンロードできます。この API はデータベースサーバーのように機能し、特別なデータベースリクエスト言語である Overpass QL でクエリを実行できます。<\/P><\/P>GitHub で利用可能な無料の OSM2ArcGIS Python スクリプト<\/A> は、Overpass QL を使用して要求されたデータに基づいており、Jeffrey Scarmazzi の osm_runner python モジュール<\/A>の適応版を使用しています。要求されたデータは処理され、ArcGIS SpatialDataframe フォーマットに変換されます。ArcGIS Online \/ ArcGIS Enterprise でのデータ処理後、ユーザーのポータル内に新しいフィーチャ サービスが作成されます。<\/P>

<\/P>

フィーチャ サービス内では、データは少なくとも3つの異なるレイヤー（ポイント、ポリライン、ポリゴンという3つの利用可能なジオメトリタイプごと）に整理されています（より多くの構成の場合はさらに多くのレイヤーがあり、後述します）。OSM2ArcGIS の追加機能については、このブログ記事の以下のセクションで詳しく説明します。<\/P>

<\/P>

要件<\/H1>Python<\/SPAN><\/H2>以下の Python バージョンとパッケージをインストールする必要があります。Anaconda のインストールは独立した Python 環境を作成することで既存の Python インストールを維持するのに役立ちます。ユーザーは Anaconda 統合パッケージインストールおよび管理インターフェースの恩恵を受けられます。<\/P><\/P>Anaconda で Python 環境を設定する方法:<\/P>3.x バージョンの Anaconda<\/SPAN><\/A> をダウンロードしてインストールします。その後 Anaconda Navigator を開き、新しい Python 環境を作成します。Python バージョンは 3.5 以上でなければなりません。その環境に以下のパッケージをインストールしてください:<\/P>     pandas >= 0.20.2<\/A><\/SPAN>: Anaconda のパッケージリストにあり直接インストール可能です。<\/LI>     click >= 6.7<\/A><\/SPAN>: Anaconda のパッケージリストにあり直接インストール可能です。他のパッケージはターミナルを使いコマンド入力でインストールします。<\/LI>     ArcGIS API for Python <= 1.5.0<\/A><\/SPAN>:

    conda install -c esri arcgis=1.5.0‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

API for Python 1.5.1 & 1.5.2: arcgis.geometry.Polygon.is_valid() メソッドがポリゴンで動作しない  Issue #335  Esri\a\a...<\a> 
                 <\PRE><\LI>     requests >= 2.18.4<\A> 

    pip install requests‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

progressbar >= 2.5<\A> 

    pip install progressbar‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

<\/P><\/P><\/P>データ<\/SPAN><\/H1>OSMプロジェクトに提供されたジオデータは、政府機関や企業が提供するデータほど標準化されていません。OSMウィキ内にはガイドラインがありますが、ユーザーはさまざまなクライアントをさまざまなデバイスで操作しており、特定の方法でジオメトリを生成したり、正確に定義された属性フィールドに詳細な属性値を提供することを強制されていません。<\/P>
これにより、データの解析時や特定のデータ型を信頼する際に問題が生じる可能性があります。また、すべての道路区間で正確な単位が指定されていない場合、OpenStreetMapを道路区間の正確な速度を持つロードマップとして使用することは必ずしも良いアイデアではありません。これが理由で、属性データに整数型や浮動小数点型を使用しないことに決めました。すべてのOSMオブジェクトのタイムスタンプ以外の属性データは文字列として保存されています。<\/P>
OSMを使用するもう一つの課題は、way、node、およびrelationオブジェクトによるジオメトリ構造に関連しています。ノードは簡単にArcGISのポイントオブジェクトに変換できます。同じ開始点と終了点を持たないwayオブジェクトも簡単にArcGISのポリラインオブジェクトに変換できます。より複雑な出力ジオメトリはポリゴンであり、それらは同じ開始点と終了点を持つwayオブジェクトや複数のwayオブジェクトを接続して「multipolygon」を形成するrelationによって構成されます。<\/P><\/P>Relationはまた複数のポイントオブジェクトやポイントとwayオブジェクトを接続することもあります。way要素を接続して「multipolygon」を形成するrelationオブジェクトのみを考慮すると、ポリゴン接続relationは属性「multipolygon」を値「yes」で特徴付けます（下図参照）。「multipolygon」特徴を形成しないrelationはOSM2ArcGISでは考慮されません。<\/P><\/P><\/P><\/P>
設定<\/H1>OSM2ArcGISの設定はユーザーによって2つのJSONベースの設定ファイル、agolconfig.jsonとosmconfig.jsonで定義できます。前者はツールがArcGIS Enterprise / Onlineポータルへの接続を確立できるようにします。後者はOpenStreetMapサーバーへのリクエスト設定用です。すべてのJSON属性の説明と設定例は以下の表に記載されています。<\/SPAN><\/P><\/P>パラメーター<\/TH>使用法<\/TH>例<\/TH><\/TR><\/THEAD>"categories"<\/SPAN><\/TD>OpenStreetMapから要素のエクスポートを制御します。別のジオメトリまたはOSMキーごとに新しい設定では、以下5つのプロパティ内で新しいカテゴリを作成する必要があります：<\/SPAN>

- "categoryName"プロパティ用の希望するOSMキー。ここでは複数値不可。<\/SPAN>

- "categoryValue"プロパティ用の希望するOSMタグ。角括弧内で複数値可。<\/SPAN>

- ArcGIS Onlineサービスから除外するフィールド（"attributeFieldsToExclude"プロパティ）。角括弧内で複数値可。<\/SPAN>

- ジオメトリタイプ、有効なタイプは "line", "point", "polygon" のいずれか。ここでは複数値不可。<\/SPAN>

- 設定を有効化するには "isEnabled" プロパティを "yes" に、不活性化するには "no" に設定します。現在不要な設定も設定ファイル内に保持可能です。<\/SPAN><\/SPAN><\/TD>"categories" : <\/SPAN>
[ <\/SPAN>
{ <\/SPAN>
"categoryName" : "public_transport", <\/SPAN>
"categoryValues" :["station", "platform"], <\/SPAN>
"attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
"geometryType" : "polygon", <\/SPAN>
"isEnabled" : "yes" <\/SPAN>
}, <\/SPAN>
{ <\/SPAN>
"categoryName" : "public_transport", <\/SPAN>
"categoryValues" : ["station", "platform"], <\/SPAN>
"attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
"geometryType" : "point", <\/SPAN>
"isEnabled" : "yes" <\/SPAN>
}, <\/SPAN>
{ <\/SPAN>
"categoryName" : "public_transport", <\/SPAN>
"categoryValues" : ["platform", "network"], <\/SPAN>
"attributeFieldsToExclude" : ["bus", "tram"], <\/SPAN>
"geometryType" : "line", <\/SPAN>
"isEnabled" : "yes" <\/SPAN>
} <\/SPAN>
]<\/SPAN><\/SPAN><\/TD><\/TR>"boundingBox"<\/SPAN><\/TD>読み込むデータのバウンディングボックス。ここでは複数バウンディングボックス不可。<\/SPAN><\/TD>"boundingBox" : <\/SPAN>
{ <\/SPAN>
"minLatInit" : "48.0503", <\/SPAN>
"minLonInit" : "11.2723", <\/SPAN>
"maxLatInit" : "48.2597", <\/SPAN>
"maxLonInit" : "11.8113" <\/Span\/>
\n<\/H2>OSMHelper<\/SPAN><\/H2>OSMHelperモジュールは、拡張されたosm_runnerモジュールを使用してOpenStreetMapサーバーに送信されるリクエストのセットアップと制御を目的としています。このモジュールは、configfile内の設定に対してOSMサーバーから同時にデータをダウンロードするためにスレッドを作成し、処理速度を最適化するように構成されています。<\/P><\/H2>Osm_runner<\/SPAN><\/H2>Osm_runnerモジュールは元々Jeffrey Scarmazziによって開発され、「multipolygon」という属性と「yes」という値を持つrelationエンティティを処理するように拡張されています。<\/P><\/H2>Osm_runner_utils<\/SPAN><\/H2>Osm_runner_utilsはosm_runnerモジュールで使用される設定を提供します。OSMサーバーのリクエスト形式の詳細や、サーバーの応答の出力形式、追加フィルターはこのモジュールを変更することで設定可能です。<\/P><\/H2>AGOLHelper<\/SPAN><\/H2>AGOLHelperはEsri SpatialDataFrameを入力オブジェクトとして受け取り、ArcGIS Enterprise \/ Onlineのユーザーポータル内でフィーチャサービスの作成と、osmconfig.jsonで設定された各ジオメトリタイプごとに少なくとも1つのレイヤーへのデータアップロードを実行します。大規模データセットでのサーバーエラーを防ぐため、ポータルへのアップロードは複数チャンクのデータで行われます。<\/P><\/P>結論<\/H1>OSM2ArcGISはOSMからArcGIS Enterprise \/ Onlineポータルへのデータ転送を簡単にします。必要なのはPythonインストールのセットアップ、JSONベースのconfigfilesによるツール設定、そしてポータル管理者から少なくともパブリッシャーロールが付与されていることを確認することだけです。<\/P>ご質問やコメントがあれば、お気軽に私までご連絡いただくか、下記コメント欄にコメントをお寄せください。 <\/SPAN><\/P><\/P>このスクリプトはGitHubからダウンロード可能です<\/A><\/SPAN><\/P>

楽しいデータ処理を、Lukas <\/SPAN><\/P>(E-Mail:

lukas.bug@aol.de<\/A>)<\/P><\/BODY><\/HTML>