-
ArcGIS ProでのDuckDB UI
DuckDB UI あなたは DuckDBユーザーインターフェース を使っていますか？それはあなたが探していた簡単なデータ探索ツールかもしれません。 バージョン3.5から、duckdb は ArcGIS Proの標準Pythonディストリビューションに含まれています。DuckDBはGIS作業で一般的なさまざまなソースから読み取ることができる強力な分析データベースエンジンです。空間拡張機能もあり、シェープファイルやフィーチャクラスを読み取ることができます。 ArcGIS Pro環境でPythonを使ってデータエンジニアリング作業をしているなら、すでに（またはこれから）DuckDBを使っているかもしれません。DuckDBのPython…
-
ArcGIS Online Notebook を使用した変更データキャプチャ
前回のブログでは、ホストされたフィーチャ レイヤーを維持することを目的とした速度テストで、ノーコードの変更データキャプチャとビューソーススワップのパフォーマンスを検証し、引き分けとしました。今回は、新たにコード化されたソリューションの世界から、ArcGIS Online ホストノートブックを使用して、日々変化するソースデータに対してホストされたフィーチャ レイヤーのデルタトランザクションを計算および適用する方法をご紹介します。 対象データは前回のブログと同じく、ロサンゼルス市の街路住所ポイントで、毎日更新されています。 ロサンゼルス住所ポイント…
-
クラウドネイティブベクターデータ配信におけるデータ速度の研究
執筆時点で、私は2026年のEsriユーザー会議で「Cloud-Native Georelational Data Distribution」というタイトルのデモシアターセッションを担当することになっています。 もしUC 2026に参加されるなら、スケジュールに追加できます。 参加できない場合は、以下に示すプレイブックが内容ですが、UC参加を促すために本には欠けている章があり、それをライブでお見せします。つまり、AWS S3から場所や建物の特徴のデータモデルを強制しながら、どれだけ速くマップやシーンにデータを取り込めるかということです。なぜなら、常に単なるデータではなく情報製品として考えるべきだからです。<\/P>…
-
Esri Developer & Technology Summit 2026 - データ移行のためのツールとパターンを探る
ETL_Patterns.pdf 執筆時点ではカンファレンス開催週で、Esri Developer & Technology Summit 2026で技術セッション「データ移行のためのツールとパターンを探る」を発表して、戻ってきたところです。 イベントでの発表では、デモを中心にするのが好きです。共有できるコンテンツを作れるからです。ライブデモの様子を少しご紹介します。Overture Maps Foundation Places themeのポイント・オブ・インタレストをスクリプトツールでETLし、ArcGIS…
-
大規模なデータ生成
ネタバレ（ハイライトして読む）警告：ブログダウンロードのツールには既知の問題があります。ArcGIS Pro 3.6でフォアグラウンドスレッドで実行すると、出力が正しく返されません。代替の場所カテゴリのルックアップテーブルが欠落しています。そのため、デフォルト動作であるジオプロセッシングスレッドを使用してください。警告：ブログダウンロードのツールには既知の問題があります。ArcGIS Pro…
-
オーバーチュア アンコール！ アドレステーママッピングとジオコーディング（アルファ版）
以前の作業を基に、ArcGIS Pro notebookを使用してETL Overture Maps FoundationデータをArcGISに取り込む方法について、この投稿ではOverture Map FoundationのAddressesテーマを、マップ対応レイヤーおよびサブアドレス対応ジオコーディングロケーターとして紹介します。執筆時点ではデータはアルファリリースですが、投稿のダウンロードにあるArcGIS Pro notebookでカリフォルニア州の住所ポイント（約1400万件）を抽出するよう設定されています。以下はノートブックによって作成されたメタデータとともに表示したものです。<\/P>…
-
Subscribing To Overture Data With One Click Refresh
In this post I'm revisiting the ingest of Overture Maps Foundation data via ArcGIS Pro notebook, for a few reasons: * To show a subscription pattern for the latest data in an area of interest * To show the value of unnesting complex columns in parquet files * To show geocoding locator creation in addition to geodatabase…
-
Cloud native GeoParquet ingest with ArcGIS Pro 3.5+ just got easier
With the release of ArcGIS Pro 3.5, the stars align a little more when it comes to the use of GeoParquet. You can now work with local GeoParquet files for your mapping and analysis needs, but it is also much easier to ingest big GeoParquet data from an S3-API-compliant object store! This post is about how simple it is to…
-
オプションのタイムトラベル機能付きバージョン管理されたクラウドネイティブデータの共有
問題を解決する強力な新しい方法を共有するのはいつも満足感があります。特に、その解決策がしばらくの間「明白なところに隠れていた」場合はなおさらです。今回は、ArcGIS Enterprise branch versioningとcloud native data sharingの組み合わせが、ポータルアクセス権のない人々にも高速なデータアクセスを提供するだけでなく、アクセスしたデータに対して若かった頃に時間を遡るように要求できる能力をもたらすことを示します。例えばこれらの区画、以前は分割されていなかった区画が現在は3つに分割されています。<\/P> Parcel subdivision<\/span>Parcel…
-
ArcGIS Data Pipelines の採用
毎日数万件のホストされたフィーチャ レイヤーが ArcGIS Online で作成されています。<\/P> 以下は私が作成したものです - ロサンゼルス市の街路住所ポイントで、市のオープンデータサイトから取得しています<\/A>。<\/P>このレイヤーは ArcGIS Data Pipelines で作成したものではありません。Fields ビューのテキストフィールドの調整された幅からわかります。<\/P> ロサンゼルスの住所ポイントとスキーマ<\/span><\/span><\/P> しかし、自動的に<\/STRONG>メンテナンス（毎日変更があります）できるレイヤーであり、…
-
ETL Pattern: Working With Unsupported Database Platforms
Connecting to (geo)relational data is fundamental to working in ArcGIS, and many popular database platforms are supported as workspaces. However, there are also many unsupported database platforms out there. How can you use them? Well, this connectivity gap is so common across information technology a standardized way to…
-
ETLパターン: Cloud Well-Known Filesの操作
しばらくの間、ファイルベースのデータはウェブに移行しており、私たちは皆、必要なものを手動でダウンロードし、ArcGIS Proのようなデスクトップソフトウェアでそこから作業を進めることに慣れています。<\/P> このブログは、その体験を自動化することについてであり、ダウンロードと処理のステップを、理解しやすく明確で共有可能なツーリングによって情報製品をオンデマンドで提供するものに置き換えるものです。<\/P> データ規模の両端には、世界中の政治区分とカナダ・バンクーバーの建築許可活動があります。前者のデータセットはから取得される大きなものであり、後者はオープンデータポータルから取得される小さなものです。どちらもArcGIS…
-
ETLパターン：ローカルのよく知られたファイルを扱う
ETLパターンの連続体の中で最も単純なものは、最も一般的な形式であるCSV（カンマ区切り値）と、その近縁であるExcelスプレッドシートです。これらの形式は膨大なデータが移動し、簡単に共有でき、人間が読みやすいため、ArcGISで嫌う理由はほとんどありません。しかし、問題点もあります！ * フォーマットに適切なスキーマが組み込まれていない * 列名がArcGISで有効でないことが多い * 数値を含むテキストフィールドが数値として扱われる * テキストフィールドの幅はCSVでは8000バイト、Excelでは255バイトと仮定される * 整数フィールドが倍精度浮動小数点として扱われる場合がある *…
-
SQL powered ETL
SQL powered ETL. How hard can it be, you know COPY in PostgreSQL and how to stage data in cloud warehouses, right? How about downloading 51 million road segments from a cloud object store into your Pro project? Road segments in the USA Or the same data for France? Parisian transport segments from Overture via SQLIn the…
-
Python Exception <ImportError>: Can't connect to HTTPS URL because the SSL module is not available
Hi All, This is the first time attempting to automate an FME flow on a server. I didn't want to create the flow on my laptop and then have to move it and the web connection to the server - so i just opened FME workbench on the Server, while logged in as the ArcGIS Server account - and built it. (This is on a server with…
-
ローカルのよく知られたファイルからのETL
以前の投稿で、ArcGISにデータを取り込む際によく遭遇する一般的なデータソースの種類を列挙しました。このドキュメントでは、その中の一つのデータパターン - コンピュータ上または簡単な手動ダウンロードで利用可能な一般的なファイルタイプについて説明します。<\/SPAN><\/P>添付ドキュメントで議論されている特定のシナリオは、一般的に見られるETL要件を持つCSVファイルです：出力ジオデータベースのフィーチャクラススキーマの制御とカラムからのジオメトリ作成です。ArcGIS Pro…
-
ETL from an API that requires pagination
In an earlier post I enumerated common data source types that you will encounter when bringing data into ArcGIS. This document discusses one of these data patterns - calling an API that requires pagination to retrieve a complete dataset. Pagination is a technique used by data publishers to manage load on their servers.…
-
ETLパターンオプション
1ページの「チートシート」ドキュメントは常に人気があります。例えばArcGISの文脈では、常に人気のあるものとしてArcGIS Enterpriseの機能マトリックスがあります。<\/P> インバウンドETLオプションを検討する際には、高レベルの意思決定基準があります。このドキュメント（投稿ダウンロードでPDFとして利用可能）は、そのうちの2つ、すなわちソースデータの出所と取り込み頻度についての簡単な概要です。<\/P> これはあくまで軽いガイダンスであり、多くの場合複数の実装オプションがあるため、これを議論への招待状として扱い、このコミュニティスペースでも議論を行ってください。<\/P> ETL…
-
More From The Duck Pond - ArcGIS ProでのDuckDBの使用
以前の投稿では、ArcGIS OnlineのホストされたノートブックでDuckDBを使い始めました。 その投稿では、GeoParquetファイルをobject storeで読み取り、フィーチャ サービスを維持する方法を紹介しました。 これは強力なワークフローですが、日常的には、取り込みに非常に時間がかかる一般的なファイル形式、例えばCSV、Excel、JSONなどを扱うことが多いでしょう。 本投稿は、DuckDBがあらゆるファイル形式にSQLを可能にし、さらにEsri形式への簡単な変換もサポートすることを示し、あなたの作業を楽にすることについてです。…
-
Go Cloud Native! Overture GeoParquet, From Object Store To Feature Layer Via Online Notebook
Spoiler (Highlight to read)Updated 7/25/2024 to support Overture release 2024-07-22.0 Breaking changes include place category "main" renamed to "primary" and update_time removed from the base schema. Refer to the notebook in the download for code changes. This blog may not be maintained.Updated 7/25/2024 to support…
-
Use an ArcGIS Pro notebook to mirror external data to feature services
One of the hidden gems in ArcGIS Pro is an ability to reach out to external geographic data sources using simple scripted workflows, which you can optionally automate. Here is today's subject matter, an OGC API Features layer mirrored to a hosted feature layer in ArcGIS Online, and the notebook that does the job:…
-
Continuous Integration With Internet Data Sources
This post shows how to use an ArcGIS Online hosted v 10.0 notebook as a data pump between any data sources on the internet, my specific example being the Snowflake cloud warehouse and a hosted feature service in ArcGIS Online. The systems of record you integrate are only limited by your imagination. When scheduled as a…
