<\/HEAD>
Q: ArcGIS Data Interoperabilityとは何ですか?<\/P>
A: もちろん製品であり、デスクトップおよびエンタープライズ向けの拡張機能ですが、技術としてはEsriのノーコード統合ソリューションです。『統合』とは、ArcGISをさまざまな形式、フィード、リポジトリにわたって読み書き可能なデータに接続し、ビジネスニーズに応じてデータを操作することを意味します。アクセスできるものであれば、Data Interoperabilityはおそらくあなたの望む方法でそれを扱うことができます。<\/P>
<\/P>
Q: それはかなり大胆な主張ですね - 『接続』できればおそらく『使用』もできるということですが、本当にどんな種類のデータソースについて話しているのですか?<\/P>
A: 歴史的にはCADのようなファイルベースの形式や初期のGISソフトウェアで使われた一部の独自形式、さらにテキストベースのファイルが中心でした。データベース接続やネットワーク転送も追加されました。その後XMLの時代が到来し、ラスターやポイントクラウドも対応しました。FTPやHTTP接続がインターネットへのアクセスを可能にし、JSONにより『動的データ』が扱いやすくなり、最近ではクラウドストアへのコネクタも追加されています。製品はデスクトップからネットワーク、ウェブへと進化する中で、この技術も『ただ動作する』ように適応してきました。これらはすべて積み重なっており、何も消えることなく、新しいタイプのソースが登場すると追加されていきます。<\/P>
<\/P>
Q: Data InteroperabilityはFMEと同じものですか?<\/P>
A: 同じ場合もあればそうでない場合もあります。ご存知の通り、それはFME技術であり、Safe Softwareが私たちのためにData Interoperabilityを構築していますが、2つのデスクトップ製品はライセンスされたアイテムに含まれる機能が若干異なり、サーバー製品も異なります。私たちはSafeと非常に密接に協力しており、Esriユーザーが必要とする機能がFME技術およびそれによってData Interoperabilityに反映されるようにしています。多くのユーザーは両方の製品を持っており、ワークスペースファイルを共有でき、それぞれのスキルは相互に適用可能です。<\/P>
<\/P>
Q: データに接続したら、それをジオデータベースアイテムやフィーチャサービス、その他ArcGISネイティブソースとしてマッピングやジオプロセシングで使えますか?<\/P>
A: はい、Esriアプリが見られる場所に書き出した後なら可能ですが、生データへのアクセスは物語の一部に過ぎません。作業にちょうど良いスキーマでデータがあることは稀であり、フィルタリングやジオメトリ修正が一般的に必要です。ここで数百ものデータ変換ツールが役立ちます。一度データに接続すると、必要な処理を実装するストリームベースのワークフローを図式化し、最後に結果を書き出します。<\/P>
<\/P>
Q: 『ストリームベースのワークフローを図式化する』と言いましたが、これはModelBuilderを使うということですか?<\/P>
A: Data InteroperabilityはWorkbenchというアプリを提供しており、ModelBuilderのようなビジュアルプログラミング環境を実現しています。非常に使いやすく、キャンバス上でリーダー、トランスフォーマー、ライターと呼ばれる要素を追加・設定・接続し、一部または全体の実行をModelBuilder同様に行えます。またセッションはジオプロセシングツールとして保存可能であり、これもModelBuilderと似ています。Workbenchで作業することはModelBuilderやPythonスクリプトツール作成と同様にArcGISジオプロセシング環境内で行うことを強調したいです。ただしModelBuilderとは異なりPythonスクリプトツールとは違いコードを書くわけではなく図式化します。<\/P>
<\/P>
Q: Pythonには慣れているのですが、それは役立ちますか?<\/P>
A: 役立つ場合もありますが必須ではありません。Data Interoperabilityはノーコード技術ですがコードにも対応しています。関数用にPythonスニペットを使うことで図式化作業を省略できることがあります。これはModelBuilderにも似ていて、『Calculate Value』というモデルツールでPythonスニペットを適用できます。どちらの場合も時間短縮になります。<\/P>
<\/P>
Q: Data InteroperabilityはETLですが、クラウドベンダーはELTを推進しています。この点についてコメントはありますか?<\/P>
A: ETL(Extract Transform & Load)は変換処理を記録システムへ送る前に行う方式であり、一方ELT(Extract Load & Transform)はまず記録システムへ送るか既に存在するデータをその中で操作する方式です(例えばSQLやビューまたはJSONストア技術内のSQL模倣言語など)。Data Interoperabilityは高度な操作能力だけでなくクラウドプラットフォーム内でクエリ接続も持ち、その場でデータ処理できるため上下移動させる必要がありません。データ重力と戦わず、自分に合った方法を選んでください。Data InteroperabilityはArcGIS内からETLでもELTでもこれを可能にします。<\/P>
<\/P>
Q: Data Interoperability学習にはどんな最適な道筋がありますか?これが始め方ですか?<\/P>
A: esri.com/trainingにはオンラインコースがあり、安全.comにはFME Desktop向け情報が豊富でほぼ完全にData Interoperabilityにも適用できます。しかし最も価値ある学習法は実践による学習―つまりETLツール作成―とGeoNetやknowledge.safe.com上のETLコミュニティとの交流です。私はCADシステムからArcGISへの移行作業に関わることでData Interoperabilityを習得しました。<\/P>
<\/P>
Q: Data Interop for Serverについて聞いたことがあります。サーバーコンテキストでのETL機能について説明してください。<\/P>
A: Data Interoperability for Serverのパターンはジオプロセシングサービス公開内にあり、それ自体特定の場合です。一部考慮すべき詳細としてワークスペース(例:File Geodatabase)出力ETLツールの扱いがありますがコアジオプロセシングではできません(GDBをzipしてファイルパラメーターとして返すことは可能)。サービスは非同期推奨ですが、それ以外ではETLツールをPythonスクリプトツールのように扱えばよいでしょう。<\/P>
<\/P>
Q: Data InteroperabilityがGMLやWFSやGeoPackageなど標準ベース形式・プロトコル対応支援によく使われていると聞きました。それについて詳しく教えてください。<\/P>
A: 人気形式・プロトコルは最終的にはコアArcGISにも組み込まれますが、多くの場合元々Data Interoperability経由だったものでもより豊富な変換体験がData Interoperability内には残っています。この傾向はCSVやExcelやKMLなど事実上標準でも同様です。<\/P>
<\/P>
Q: Data Interoperabilityが重要な役割を果たした興味深いシナリオを共有できますか?<\/P>
A: 最も影響力ある成果―主観的ですがパターンとして繰り返され利用者多数―は記録システムから権威あるデータを収集し、その後データ修正してArcGIS EnterpriseまたはOnline上ホストされたフィーチャサービス維持に利用するケースです。このパターンではFTP, HTTP, WFS, Protocol Buffer, REST APIエンドポイントなど任意のソースから自動的かつダウンタイムなしでEsriユーザーへデータ提供できます。<\/P>
<\/P>
Q: FME serverについて聞いたことがあります。それには対応していますか?<\/P>
A: ArcGISとFME server製品は別物ですが機能重複があります。Data Interoperability for ArcGIS Enterpriseはジオプロセシングサービスフレームワーク内でWeb ETLを提供し、大量フォーマット変換作業や組織内多用されるファイルベースデータ処理(例:大量Excelファイル処理)などによいパターンです。同様用途ならFME Serverも使えますが既存ArcGIS Enterprise環境へのData Interoperabilityライセンス取得より投資効果低いでしょう。ただしFME Serverには複数システム間複雑統合向けトリガー-アクション自動化機能があります。結果出力せず同期処理中心ならFME Server推奨です。またArcGIS Enterprise併設時にはArcPyやArcGIS Python APIなどArcGISソフトウェア連携可能です。<\/P>
<\/P>
Q: Data Interoperabilityのロードマップには何がありますか?<\/P>
A: 常に多くの形式・変換機能追加予定がありますが、そのうちいくつか リリース間近の注目すべきものがいくつかあり、このQ&Aが公開される頃には出ていることを願っています。最初はビッグデータと連携するツールの成熟です。私がブログで紹介する予定の例は、ウェブから毎日変わる大きな圧縮CSVデータを取得し、それをGeoAnalytics Desktopで処理し、Proで並列化されたSpark処理を行い、その結果をParquetファイルとしてクラウドプラットフォームに送信し、誰でもクエリできるようにするというETLツールセットです。これをスケジュールに従って毎日自動化することで、そのポイントが明確になります。次に期待される開発は、ETLワークフロー内でArcGIS Onlineアイテムを管理できる機能で、これはData Interoperabilityで作成できる多くのOnlineアイテムタイプのアップロード、上書き、ダウンロード、または削除を意味します。これにより、Esriのパブリッククラウド上でETL処理の共有が完結します。
Q: もっと将来の展望について話してもらえますか?Data Interoperabilityだけでなく、一般的にETLやアプリ統合などの分野についても?
A: 何もなくなることはありませんので、ファイルベースおよびネットワークベースのデータソースは引き続き存在しますが、しばらく前からそしてますます、データはJSONのようなウェブフォーマットで移動されており、プロトコルバッファペイロードを持つサービスやParquetのようなビッグデータ移動に最適化されたフォーマットのトレンドも見られます。REST APIとの連携はほぼ当たり前となり、Data Interoperabilityで簡単に行えます。業界で支持されているフォーマットやプロトコルはData Interoperabilityでサポートされると考えてください。あなたの仕事に集中し、必要なものを教えてください。未来はあなたのために構築されます。
Q: 特にData Interoperabilityや一般的なETL関連トピックについてもっと情報を得るにはどこに行けばいいですか?
A: あなたのEsri担当者がData Interoperabilityのライセンスについて喜んでアドバイスします。ETLは大きなテーマであり業界でもよく文書化された分野ですが、本当にプロジェクトを立ち上げたい場合は地元のEsri担当者やパートナーとのプロフェッショナルサービス契約を検討してください。背景資料としては、Open Platform, Standards and Interoperabilityスペース内のGeoNetで検索してください。