Data Factory Data PipelinesでFabricのGeoAnalyticsを使用する

sbattersby

FabricのData Factoryは、グラフィカルインターフェースを使用してデータの取り込み、準備、および変換ワークフローを促進する環境を提供します。   これらのワークフローは手動で実行することも、パイプラインの一部としてスケジュールすることも可能です。  本記事では、Data Factory内で作成できるData pipelinesと、Microsoft Fabric用Arc GIS GeoAnalyticsを使用して空間分析を組み込む方法について探ります。 <\/P>

FabricのData FactoryでGeoAnalytics for Fabricノートブックを使用してData pipelinesでできる素晴らしいことのいくつかは以下の通りです:<\/P>

• EsriとFabricのデータストア間のデータ移行の自動化<\/LI>
• 座標系やジオメトリタイプを調整するためのジオメトリ変換<\/LI>
• 位置に基づいてデータセットに社会人口統計情報を追加する空間エンリッチメントの有効化<\/LI>
• Power BIで使用するためにポイントデータセットを正方形または六角形ビンに集約<\/LI>
• そしてGeoAnalyticsライブラリにある180以上の空間関数とツールを使ってさらに多くのことが可能<\/LI><\/UL>

   <\/P>

  GeoAnalytics for Fabricとは何ですか？<\/H2>GeoAnalytics for Fabricは180以上の空間関数とツールをFabricに導入し、ロケーションインテリジェンスを分析ワークフローにシームレスに組み込むことを可能にします。  これはFabricのデータサイエンスおよびエンジニアリングランタイムに直接統合されており、ノートブック内で空間分析を使用して意思決定を促進する強力な洞察を生成できます。<\/P>GeoAnalytics for Fabricを使用すると、lakehouse、データウェアハウス、またはEsriのArcGIS OnlineなどのWebサービスから地理空間データにアクセスできます。一般的な地理空間フォーマットはほとんど認識されます。shapefile、geodatabase、GeoParquet、GeoJSON、およびEsriフィーチャサービスなどが含まれます。これにはEsri ArcGIS Living Atlas of the Worldの多様なリソースも含まれます。<\/P> <\/P>Data FactoryでGeoAnalytics for Fabricをどのように使えますか？<\/H2>FabricのData Factoryは複雑なETLワークフローを構築するためのデータパイプライン作成を可能にします。  例えばクラウドウェアハウスからOneLakeへのデータコピーなど、多数の事前定義されたアクティビティが含まれています。  またSparkノートブックをワークフローの一部として取り込む機能もあり、これがGeoAnalytics for Fabricを活用する方法です！<\/P>本記事ではデータパイプライン内でのGeoAnalyticsノートブックの例を示しますが、Fabric Data Factoryドキュメント内でノートブックアクティビティについてさらに詳細を見ることができます。<\/P> <\/P>データパイプライン内で良いGeoAnalytics for Fabricノートブックとは？<\/H3>GeoAnalytics for Fabricは複雑なワークフロー作成向けに多くの機能があります。  しかし、データパイプラインで使用する場合は通常、一つか二つ関連したタスクを実行するシンプルなノートブックを作成する方が効果的だと感じます。  例えば、単に空間結合でデータをエンリッチするノートブックや、空間結合と集約を行い結果を書き戻すノートブックなどです。<\/P><\/span><\/P>データパイプラインで使う良いノートブックとは？<\/H3>前述したように、データパイプラインで使う良いノートブックは特定タスク実行用に設計されています。それには分析ワークフロー内の複数ステップが含まれる場合もありますが、通常は単一出力となります。  例としては:<\/P>データ移行.<\/STRONG> EsriフィーチャサービスとOneLake間、またはOneLakeからEsriフィーチャサービスへの空間データセット移動。<\/LI>データエンリッチメント.<\/STRONG> 空間結合を使って複数データソースを組み合わせて地理空間的にデータセットを強化し、その後の空間分析やMLモデルで利用。例えば顧客データ読み込み後、それぞれの顧客位置に基づき社会人口統計情報で強化。<\/LI>データ集約.<\/STRONG> 大規模データセットを集約版に簡略化し、BIやレポーティング、下流分析用に利用。例えば大規模ポイントデータセットを六角形ビンに集約。<\/LI><\/UL> <\/P>例として、油ガスパイプラインと重要インフラや関心環境との交差点を見つける空間結合ノートブックを使います。その結果は集約されPower BIダッシュボード用に書き出されます。  ノートブック作成時にはFabricユーザー全体beyond直接Fabricノートブックで作業する個人向けにも役立つ機能性も加えます。  基本的には誰でも実行できる便利な「ツール」を作るイメージです—ノートブック操作や分析ワークフロー作成方法がわからなくても使えます。<\/P>その鍵となる一つがノートブック内でparametersを組み込むことです。  パラメーターは外部値をデータパイプラインへ渡すために使われます。つまりパイプラインアクセス権限あるユーザーがこれらパラメーター編集し、そのコード実行時に生成される結果へ影響させることができます。  見てみましょう…<\/P> <\/P>迅速な分析変更許可のためパラメーター使用法<\/H3>Data pipeline内でノートブック実行時にパラメーター使用するには、まずノートブック内特定変数を「parameters」として設定します。  その後Data pipelineからアクセスし値更新すればよいです。<\/P>ノートブック内.<\/STRONG>  Fabricノートブック内ではパラメーター定義セルが必要です。このセルは他セルと同様ですが「parameter cell」としてマークされています。以下例ではどんな分析実施か（道路・重要生息地・競合パイプラインとの交差点特定）、集約結果解像度、および出力ファイル保存場所など設定可能なパラメーター群があります。<\/P><\/span><\/P>各パラメーターには既定値が設定されているためData pipeline側で更新しなくてもノートブックは既定値利用して実行されます。しかしユーザーが更新すれば分析フローもそれに応じて変わります。<\/P>Data pipeline内.<\/STRONG> パラメーター値更新画面例です。一度ノートブックがキャンバスへ追加されると選択可能になり、「Settings」から新しい値入力してパラメーター更新できます。<\/P>下図例では道路および競合パイプラインとの交差点計算のみ有効化しnot重要生息地との交差点計算は無効化しています。またh3ビン解像度4、「near distance」（対象道路や競合パイプライン検出距離）100m設定し、「output_aggregated_results」というファイル名へ集約結果を書き出します。 <\/P><\/span><\/P>設定更新後、パイプライン実行時にはこれら値が既定値置換されます。ノートブック内該当箇所すべて新値反映されて処理されます。ユーザーはData pipeline上で編集可能なパラメーター内容だけ把握すれば十分です。<\/P>この例ではData pipeline経由でノートブック実行するとOneLakeへ結果返却され、それら結果はPower BIダッシュボードで油ガスパイプラインと周辺インフラ比較分析へ利用されます。<\/P><\/span>
  } 結論<\/> は、Microsoft FabricでGeoAnalytics for Fabricを使用して地理空間ワークフローを推進するための素晴らしい方法の一つに過ぎません。  私たちは、EsriとMicrosoftのFabricにおけるパートナーシップの一部である地理空間機能を最大限に活用できるよう、GeoAnalytics for Fabricコミュニティサイトでさらに多くのコンテンツを投稿していきます。  どのようなことについてもっと知りたいか、ぜひお知らせください！