マップインタラクションとWebツールでETLを推進する

bharold

マップからトリガーしたいETLジョブはたくさんあります。このブログで紹介するパターンは、それを実現するのに役立ちます。<\/P>

ここに1つのユースケースがあります。マップからエリアフィーチャを入力として受け取るETLウェブツールを実行することです。  このウェブツールはモバイルジオデータベースを構築し、それをローカルファイルとして私のProセッションやExperience Builder分析ウィジェットに返しますが、どこからどこへでも、任意のフォーマットでETLデータを処理することができます。  データはマップ内にある必要も、ArcGIS Proプロジェクト内にある必要もありません。<\/P>

Spoiler<\/a>ModelBuilderのインライン変数置換について詳しくはこちらをご覧ください。  ツールがローカルで実行される場合、このパスはプロジェクトのスクラッチフォルダー内になり、ウェブツールの場合はジョブスクラッチフォルダー内になります。<\/P>

さて、少しタイムトラベルしましょう。  上記のモデルを構築していて、FeatureSet入力とモデル内のFeatures to JSONツールしかないと想像してください。  保存して実行すると、スクラッチフォルダーにesri.jsonファイルができます。  次に、EsriJSON入力を受け取って望む処理を行うETLツール（同じツールボックス内に埋め込み）を構築します。  これが私のものです。<\/P>

EsriJSONを読み込み処理するETL<\/span><\/span><\/P>注釈にもあるように、EsriJSONリーダー（NB：単一パス入力プロパティ付き）がマップ入力を取り込み、フィーチャが集約されます（私は1つのフィーチャが欲しいのでマルチパートでもOK）。その後、下流処理で必要な投影変換が行われます。  私の場合、結果のフィーチャはイニシエーターおよび空間フィルターとしてFeatureReaderで使用され、Living Atlasからいくつかのデータを抽出し動的スキーマでモバイルジオデータベースに書き込みます。  ただし、データのパス指定にはトリックがあります。<\/P>ここではETLツールのユーザーパラメーターを編集しており、一番上はスクリプト化されたパラメーターSCRATCHFOLDERで、ArcPyが使用している場所（Proローカルまたはウェブツールのジョブフォルダー）を取得します。  スクリプト化パラメーターはデータ処理前に評価されます。<\/P>SCRATCHFOLDERスクリプト化パラメーター<\/span><\/span><\/P>次のパラメーターはソースEsriJSONファイルパスで、モデルによって供給されますが、SCRATCHFOLDERスクリプト化パラメーターを使うようデフォルトパスを設定しています。  SCRATCHFOLDER追加後はパラメーター状態を保存しダイアログを再度開かないと他のパラメーターで値が使えないことに注意してください。<\/P>EsriJSON入力パラメーター<\/span><\/span><\/P>さてトリックですが、出力モバイルジオデータベースは上書き許可付きでスクラッチフォルダーに書き込まれます。<\/P>スクラッチフォルダーへのモバイルジオデータベース出力<\/span><\/span><\/P>モデルに戻ります。  ETLツールが追加され、その入力としてEsriJSONファイルが接続されています。  ETLツール出力は%scratchFolder%\Extract.geodatabase に書き込まれます。<\/P>未来へ戻る<\/span><\/span><\/P>最後のステップはCalculate Valueモデルツールを追加し、出力パスを新しいFileタイプパラメーターへコピーします。  これはウェブツールがデータを返すためには出力がDerivedでなければならないため必要です。  ModelBuilderでETLツール出力が中間設定になっていないことも確認してください、そうしないと出力が得られません！  Calculate Value式もチェックしてください。この式はエスケープ文字として解釈されることからパスを保護するため、生文字列（raw string）として扱う必要があります。<\/P>Calculate Value式<\\/span>

いくつかローカルテスト実行後、共有可能なウェブツールとして結果が得られ、それから実行しました。When sharing the web tool I set the message level to Info so I can watch the action.I used ArcGIS Enterprise 12.0, which is compatible with ArcGIS Pro 3.6. Make sure Data Interoperability is installed on your server and any packages and credentials installed on the server by the arcgis service owner user.  It is good practice to open fmeworkbench.exe as the arcgis service owner user (in the Data Interoperability install) on the server and test readers and writers you will be using.

Web tool結果表示

上記のメッセージストリームでは出力がジョブスクラッチフォルダーに書き込まれ、またローカルにも私のProセッションへダウンロードされていることがわかります:

データが返されました

.geodatabaseファイルのファイル関連付けはありませんが、Data Inspectorでリンクを開くことができます：

Data Inspectorのモバイルジオデータベース

これで同僚と共有できるETL web toolができました！ 同僚と言えば、このツール作成にご協力いただいた@SashaLockamyに感謝しています。

わかりやすくするために、私のweb toolを作成する手順は以下の通りです：

• FeatureSet入力パラメーターを持ち、EsriJSONを%scratchFolder%\esri.jsonに書き込むモデルを作成する
• モデルを保存して実行し、esri.jsonファイルを作成する
• モデルのツールボックス内に埋め込みETL toolを作成し、EsriJSONを読み込みETL処理を行う
  • データを返す場合はファイルデータタイプでなければならず、...
  • 最初のパラメーターをスクリプトでarcpy.env.scratchFolderを返すようにする
  • 目的のファイル出力データをそのフォルダーに書き込む
  • esri.jsonファイルを使ってETL toolをテストする
• ETL toolをモデルに追加する
• EsriJSON出力をETL toolの入力として接続する
• Calculate Valueツールを追加し、ETL tool出力をFile型の派生値にキャストする
• ETL tool出力が中間出力でないことを確認する
• モデル図ではなくツールボックスからモデルを保存して実行する
• 結果をweb toolとして共有する（スタンドアロンサーバー使用時はgeoprocessing serviceとして）

ぜひ投稿で皆さんの経験もコメントしてください。