Webinar Q&A (Deep Learning with ArcGIS Pro for tree counting & building extraction)

AchiruddinIslami · ‎06-17-2020

halo ArcNesian! ini adalah Q&A untuk temen-temen ArcNesian yang pertanyaannya belum sempat terjawab ataupun yang belum sempat ikut webinarnya. Silahkan dibacaa Q&A nya iya.

Bagaimana cara kita mendapatkan informasi webinar atau event lainnya dari Esri
Indonesia?
Informasi mengenai event, webinar, dan agenda-agenda lainnya dibagikan oleh kami
melalui beberapa media dari Esri Indonesia berikut:
Website       : https://esriindonesia.co.id/events-calendar
Linkedin       : https://www.linkedin.com/company/esri-indonesia
Twitter          : https://twitter.com/esriindonesia
Instagram      : https://www.instagram.com/esriindonesia

ArcGIS Pro versi berapa dan lisensi yang diperlukan untuk menggunakan tools deep learning?
Jenis dan tipe lisensi yang dibutuhkan adalah sebagai berikut:
• ArcGIS Pro Basic/Standard/Advance Version 2.5 or newer
• Image Analyst extension for ArcGIS Pro

Apakah Image Analyst extension for ArcGIS Pro termasuk ke dalam ArcGIS Pro secara default?
Tidak, Image Analyst extension for ArcGIS Pro merupakan komponen lisensi terpisah.

Bagaimana tingkat akurasi tree countingnya (%) dan bagaimana cara kita dapat mengetahui tingkat akurasi hasil object detection ini?
Tingkat akurasinya sangat bergantung kepada jenis model yang digunakan, training sample yang dibuat, dan parameter-parameter yang kita tentukan pada saat train model dan melakukan deteksi objek. Tingkat akurasi bisa dihitung dengan cara membandingkan hasil deteksi objek dengan fakta di lapangan (ground truth), presentasi benar dari total sampling menunjukkan tingkat (%) akurasinya.

Dapatkah pengguna mendapatkan informasi estimasi diameter atau luas kanopi setiap pohon?
Bisa, hasil tree counting workflow ini akan menghasilkan bounding box dimana pohon ditemukan. Yang harus dilakukan untuk menghitung luas kanopi tanaman nya adalah:
1. Menjalankan tool Feature to Point (Data Management) untuk mendapatkan titik pusat pohon
2. Menjalankan tool Buffer dengan estimasi rata-rata jari-jari pohon untuk mendapatkan luas kanopi.

Data apa sajakah yang dibutuhkan untuk melakukan tree counting dan building extraction workflow ini, Perlukah data surface model/DSM?
Data yang diperlukan adalah data citra/imagery dan data training sample. Workflow ini tidak membutuhkan data surface/DSM.

Apakah sumber data citra/imagery terbaik yang menghasilkan hasil deteksi objek dengan akurasi tinggi?
Data yang diperlukan sangat bergantung kepada objek yang akan dideteksi. Untuk objek berukuran kecil, semakin tinggi resolusinya maka hasilnya akan semakin baik. Sangat disarankan untuk menggunakan data orthomosaic dari UAV/Drone untuk mendeteksi pohon, benda, dan objek kecil lainnya.

Bagaimana aplikasi tree counting dan tree health monitoring di area reklamasi tambang dimana jenis tanamannya bervariatif, apakah sama konsep nya dengan industri forestry atau plantation?
Memproses tree counting untuk objek tanaman yang heterogen menggunakan konsep yang sama namun membutuhkan kejelian ekstra dalam pembuatan training sample. Skema training sample yang dibuat bisa dibedakan sesuai dengan jenis tanamannya. Kami pernah mengimplementasikannya dan memberikan hasil yang cukup baik setelah beberapa kali refinement training sample dan parameter yang digunakan pada saat train modelnya.

Pada umur tanaman berapakah idealnya kita bisa melakukan tree counting dengan ArcGIS Pro, Bagaimana jika tanamannya sudah rapat?
Tidak ada batasan usia tanaman yang dapat diproses dengan tools ini. Kami pernah melakukan uji coba pada tanaman berusia 1-2 bulan dan memberikan hasil yang cukup baik. Pada usia tanaman yang sudah besar, training sample sebaiknya dipastikan untuk mencover hanya di inti crown tanamannya saja.

Berapa banyak jumlah training sample yang harus dibuat?
Poin penting yang harus diperhatikan dalam pembuatan training sample adalah harus representatif. Banyaknya training sample bukan jaminan menghasilkan model yang baik jika training sample yang dibuat tidak akurat. Jumlah training sample yang dibutuhkan disesuaikan dengan keberagaman objek pohon/bangunan/objek lainnya. Idealnya semakin banyak training sample akan memberikan hasil yang semakin baik.

Bagaimana cara meningkatkan akurasi dari model yang kita buat dengan menggunakan Deep Learning di ArcGIS Pro?
Cara meningkatkan akurasi sangat bergantung kepada objek yang dideteksi dan model yang digunakan. Meningkatkan akurasi dapat dilakukan diantaranya dengan cara melakukan review atas training sample yang dibuat, menambahkan training sample, dan merubah konfigurasi parameter pada saat Train Model dan Detect Object.

Bagaimana cara mendapatkan ArcGIS Pro, misalnya versi trialnya & Versi berapa yang sebaiknya saya gunakan. Adakah panduan instalasinya?
Untuk general enquiry, silahkan mengakses: https://esriindonesia.co.id/general-enquiry
Untuk penggunaan non komersial, volunteering work, dan akademik, silahkan untuk dapat mengakses link berikut: https://esriindonesia.co.id/arcgis-for-personal-use
Trial ArcGIS Pro dapat didapatkan untuk 21 hari melalui link berikut:
https://pro.arcgis.com/en/pro-app/get-started/notes-for-arcgis-trial-users.htm
Versi yang mendukung deep learning workflow end-to-end adalah minimal versi 2.5.
Panduan instalasi dapat diakses melalui link berikut:
https://pro.arcgis.com/en/pro-app/get-started/install-and-sign-in-to-arcgis-pro.htm

Apakah fitur deep learning bisa melakukan hyperparameter optimization. Bagaimana jika kita ingin mencoba berbagai deep learning framework lain?
Hyperparameter optimization saat ini belum tersedia di dalam platform ArcGIS by default. Sama hal nya dengan jika user ingin menggunakan deep learning framework lainnya, user dapat menginstall dan mengolahnya menggunakan IDE seperti jupyter notebook.

Dapatkah ArcGIS mendeteksi tanaman berusia sangat muda, object berukuran kecil, atau objek dengan kerapatan sangat tinggi?
Possibility untuk mendeteksi objek dengan metode object detection sangat berpengaruh kepada ukuran objek yang akan deteksi, resolusi imagery yang digunakan, dan berbagai parameter lainnya termasuk jumlah training sample, dan konfigurasi parameter pada toolbox deep learning. Jika user ingin mendeteksi tanaman A berusia 1 bulan dengan diameter tanaman 50 cm, user sebaiknya memiliki data imagery/citra dengan resolusi 5-10 cm. Jika data citra/imagery yang digunakan beresolusi rendah dibandingkan dengan objek yang di deteksi, maka akurasi hasil deteksinya rendah. Pendekatan lain jika user tidak memiliki resolusi yang cukup adalah dengan menggunakan Image Classification dengan Deep learning framework di ArcGIS Pro.

Apakah keunggulan dari ArcGIS Pro dibandingkan dengan ArcGIS Desktop lama/ArcMap?
ArcGIS Pro merupakan 64-bit application (ArcMap 32-bit) yang didesain untuk mendukung kegiatan pengolahan data, visualisasi, dan analisis lebih cepat. ArcGIS Pro mendukung 2D & 3D dalam satu windows, animation, dan chart. Referensi lebih lengkap keunggulan ArcGIS Pro dapat diakses pada link berikut:
https://www.esri.com/about/newsroom/arcuser/why-you-should-move-to-arcgis-pro/
https://communityhub.esriuk.com/geoxchange/2018/2/21/top-10-things-you-can-do-better-in-arcgis-pro
https://storymaps.arcgis.com/stories/d3ad639cbe104dccacd3e3aaad9b179a

Bagaimana cara GeoAI untuk memprediksi kekurangan unsur hara, air dan potensi produksi?
Pendekatan yang dilakukan adalah melalui spectral analysis (nilai pembacaan spektrum pantulan cahaya pada band tertentu dari foto udata/satelit/uav) dengan menggunakan ArcGIS Pro Raster Function. Data dari spectral analysis tersebut akan dibandingkan dengan verifikasi dan pembacaan data di lapangan melalui sampling dan nilainya dibandingkan dengan nilai hasil pengolahan spectral analysis.

Untuk citra yang digunakan resolusi rendah apakah bisa digunakan digunakan untuk landcover?
Bisa, dengan menggunakan ArcGIS Pro Image Classification Tools yang saat ini juga mendukung deep learning workflow seperti Random Forest dan Support Vector Machine.

Apakah data citra yg diperoleh dari basemap/peta dasar imagery bisa digunakan untuk mendeteksi objek pohon atau bangunan dengan GeoAI?
Tidak cukup detail untuk tree counting, tetapi ada kemungkinan untuk dapat mendeteksi bangunan dan digunakan untuk proses image classification.

Bagaimanakah cara membuat training sample/training data/Latih dan apakah didapatkan secara otomatis?
Pembuatan Training sampe dapat dilakukan menggunakan “Label Object using Deep Learning” pada Tab Imagery di ArcGIS Pro. Diawali dengan pembuatan skema/kelas/jenis objek yang akan di deteksi, kemudian dilakukan digitasi objek. Training sample ini akan disimpan dalam format data spasial – polygon. Training sample harus dibuat secara manual terlebih dahulu sebagai feeding/umpan/input data untuk sistem dapat mengenali objek.

Dapatkah kita membangun model builder hingga automation script untuk memudahkan pengerjaan Deep Learning workflow untuk tree counting dan building extraction, dan apakah model builder tersebut dapat dijalankan di ArcMAP?
Pengguna dapat membangun model builder dari toolbox-toolbox deap learning untuk menyederhanakan workflow kerjanya. Juga dapat menggunakan custom script Arcpy yang bisa dibangun dengan python untuk kebutuhan otomisasi cukup dengan lisensi ArcGIS Pro + Image Analyst Extension. Model builder/script yang sudah dibuat tidak dapat dijalankan di ArcMAP karna desktop tersebut tidak mendukung deep learning capability.

Bagaimana cara menginstall deep learning frameworks yang diperlukan ArcGIS Pro?
Untuk menjalankan deep learning tools di ArcGIS Pro, user perlu menginstal deep learning frameworks yang dibutuhkan oleh ArcGIS Pro. Panduan instalasinya dapat diakses melalui link berikut:
https://pro.arcgis.com/en/pro-app/help/analysis/image-analyst/install-deep-learning-frameworks.htm

Apa model atau algoritma yang digunakan dalam tree counting dan building extraction ini?
Pada studi kasus ini kami menggunakan Single Shot Detector (SSD). Informasi detail mengenai model ini dapat diakses melalui link berikut:
https://developers.arcgis.com/python/guide/how-ssd-works/

Dapatkah kita menggunakan ArcGIS API for Python, Perlukah lisensi untuk menggunakan ArcGIS Python API, dan dapatkah kita menggunakan API ini di kaggle atau Google Colab?
ArcGIS API for Python tersedia untuk umum dan dapat diinstall melalui conda. API ini dapat digunakan tanpa lisensi apapun. Untuk mengakses data di ArcGIS Online atau ArcGIS Enterprise, diperlukan authentikasi/login. API ini juga dapat digunakan di semua Python IDE termasuk kaggle dan Google Colab.

Dapatkah kita mendeteksi tumbuhan sehat atau rusak tanpa terjun ke lapangan dan Bagaimana kita mengukur tingkat akurasinya?
Kita dapat menentukannya dengan pendekatan raster analysis dapat melalui NDVI, VARI, atau index lainnya yang juga tersedia di ArcGIS Pro. Tingkat akurasi bisa dihitung dengan cara membandingkan hasil VARI dengan fakta di lapangan (ground truth), presentasi benar dari total sampling menunjukkan tingkat (%) akurasinya.

Bagaimanakah proses iterasi untuk memperbaiki model jika hasil deteksi awal belum baik?
Kita dapat melakukan pengulangan proses ini:
• Koreksi atau penambahan training sample.
• Merubah parameter pada toolbox Train Deep Learning Model atau Detect object using Deep Learning.
• Mencoba menggunakan model lainnya.

Bagaimana cara saya berganti perangkat komputer/laptop supaya ArcGIS Pro tetap dapat digunakan?
Install ArcGIS Pro pada perangkat baru >> login menggunakan akun yang telah dikonfigurasi lisensi ArcGIS Pro.

Metode Image Classification apakah yang dapat menciptakan hasil yang baik dan menggunakan deep learning framework?
Bisa dengan menggunakan ArcGIS Pro Image Classification Tools yang saat ini juga mendukung deep learning workflow seperti Random Forest dan Support Vector Machine.

Apakah hasil dari building extraction bisa digunakan untuk menentukan ketinggian bangunan?
Bisa dengan informasi/data surface model. Jika menggunakan data UAV/Drone dapat mengkonfigurasikan drone data processing untuk memberikan surface model/DSM.

Apakah data Citra Satelit Resolusi Tinggi atau CSRT - 0,5m cukup baik untuk digunakan dengan deep learning workflow?
Resolusinya tidak cukup tinggi untuk tree counting, tetapi dapat digunakan untuk building extraction atau mendeteksi objek lain yang lebih besar.

Dari manakah kita menentukan kondisi tanaman Need Inspection (merah), Moderate (kuning), dan Healthy (hijau) dari hasil analisis raster VARI?
Kita dapat menentukannya dengan mengganti simbologi layer menggunakan nilai VARI. Kemudian kita dapat mengelompokkan nilainya menjadi beberapa kelas. Nilai VARI yang rendah menunjukkan pohon yang membutuhkan inspeksi, tinggi menunjukkan pohon yang sehat.

Bagaimana mekanisme model mengenali objek, apakah membedakan warna & dapatkah kita memperbaikinya secara manual saat terjadi kesalahan identifikasi?
Deep learning framework tidak hanya mendeteksi objek berdasarkan warna, akan tetapi juga berdasarkan bentuk , ukuran, aspek rasio, dan berbagai properti lain dari objeknya.

Bagaimana jika data imagery/citra yang digunakan berasal dari gabungan beberapa image yang diambil pada waktu yang berbeda?
Sebaiknya sebelum memulai proses deep learning add raster tersebut ke dalam Mosaic Dataset, kemudian atur warnanya supaya seragam melalui konfigurasi Color Balance.
https://pro.arcgis.com/en/pro-app/tool-reference/data-management/color-balance-mosaic-dataset.htm

Adakah studi kasus deep learning object detection untuk objek tanaman laut?
Studi kasus deteksi tanaman laut dapat diakses disini:
https://learn.arcgis.com/en/projects/predict-seagrass-habitats-with-machine-learning/

Dapatkah kita mengintegrasikan workflow ini dengan library lain nya seperti tensorflow dan keras, dapatkah kita mendeteksinya tetap menggunakan ArcGIS Pro?
Untuk menggunakan library lain, dapat menggunakan workflow berikut:
• Membuat training sample di ArcGIS Pro.
• Export training data dengan tools “Export Training Data For Deep Learning” di ArcGIS Pro dengan Meta Data Format yang sesuai kebutuhan model/library yang digunakan.
• Gunakan image Chips hasil proses sebumnya dan Train model di Jupyter Notebook menggunakan model yang ingin digunakan.
• Konfigurasikan emd file misalnya seperti berikut (contoh *.emd file ada pada pada link yang dapat diakses berikut: https://pro.arcgis.com/en/pro-app/help/analysis/image-analyst/deep-learning-in-arcgis-pro.htm agar kita dapat menggunakan fitur model yang telah dibangun sebelumnya.
• Run tool “Detect Object using Deep Learning” di ArcGIS Pro

Dapatkah kita menggunakan model/classifier/emd/dlpk yang telah dibuat pada citra/image daerah lainnya & dapatkah kita gunakan untuk mendeteksi objek yang berbeda?
Kita dapat menggunakan model yang sama pada area yang berbeda selama objek memiliki karakteristik yang sama. model yang telah dibuat tidak dapat digunakan untuk mendeteksi objek yang berbeda.

Pada pembuatan skema training sample, berapa jenis objek atau skema yang dapat kita buat?
Jenis objek/skema dapat berjumlah dua atau lebih. Misalnya 1.bangunan, 2.pohon 3. jalan, 4. kolam dst. Tanpa ada batas maksimal.

Apakah deep learning framework ini sama seperti workflow image classification?
Berbeda, jika image classification bertujuan untuk mendeteksi objek, object detection akan mendeteksi objek dan posisinya dalam bentuk bounding box.

Apakah spesifikasi laptop yang disarankan untuk dapat menjalankan deep learning workflow ini?
Spesifikasi yang disarankan adalah sebagai berikut:
• CPU - Recommended: 4 cores, Optimal: 10 cores
• RAM – Recommended: 8GB, Optimal: 16GB or more
• Display properties - 24-bit color depth
• Screen resolution - 1024x768 or higher at normal size
• Storage - Minimum: 32 GB of free space, Recommended: 32 GB or more of free space on a solid-state drive (SSD)
• DirectX - Recommended: DirectX 11, feature level 11.0, Shader Model 5.0
• Dedicated (not shared) graphics memory - Recommended: 4 GB or more
• Windows 10 Home, Pro, and Enterprise (64 bit)

Dapatkah kita menghitung prediksi tonase produksi pada perkebunan tebu?
Perhitungan pohon dapat dilakukan pada usia muda, kemudian dapat di prediksi dengan menganalisis pattern/pola produksi setiap batangnya berdasarkan historical data.

Apakah deep learning framework dapat digunakan juga untuk mendeteksi standing crop seperti padi?
Object detection memiliki kemampuan yang mendekati visual interpretation manusia, sulitnya kita melihat dengan mata setiap helai tanaman padi dari foto udara, maka deep learning juga saat ini akan kesulitan untuk mendeteksinya. Tanaman padi disarankan menggunakan image classification workflow dan bukan object detection.

Dapatkah kita menggunakan Training sample/model/detector yang sama untuk mendeteksi objek sama pada waktu yang berbeda?
Model yang telah dibuat dapat digunakan selama objek yang dideteksi masih memiliki bentuk dan karakter yang sama. Tetapi Training sample selama posisi imagery/citra akurat maka dapat selalu digunakan kedepannya.

Adakah referense web course yang disediakan oleh esri?
Silahkan mengakses esri training pada link berikut: https://www.esri.com/training/

Format raster apa saja yang di dukung oleh workflow ini, apakah ecw dapat digunakan?
ECW dan berbagai format data raster lainnya dapat digunakan pada workflow ini. detail daftar format yang didukung dapat diakses pada link berikut:
https://pro.arcgis.com/en/pro-app/help/data/imagery/supported-raster-dataset-file-formats.htm

Adakah studi kasus perubahan iklim atau kualitas lingkungan dengan menggunakan ArcGIS Pro?
Studi kasus terkait iklim dapat diakses pada link berikut:
https://learn.arcgis.com/en/paths/climate-change/
https://learn.arcgis.com/en/projects/explore-future-climate-projections/

Berapa lama processing time yang diperlukan untuk studi kasus tree counting dan building extraction ini?
Dua studi kasus ini menggunakan data imagery/citra dengan ukuran yang relatif sama membutuhkan waktu 40-50 menit dengan spesifikasi laptop:
• CPU - 4 cores multithread
• RAM - 16GB
• GPU - NVIDIA GeForce GTX 1050 4GB GDDR5 VRAM

Dapatkah ArcGIS Pro digunakan untuk deteksi kawasan banjir?
Mendeteksi kawasan banjir bisa dilakukan salah satunya dengan metode image classification dari data landsat 8 imagery menggunakan kombinasi band 3 (green), dan band 6 (SWIR).

Dapatkah mendeteksi pohon dengan data lidar?
Menggunakan data orthomosaic resolusi tinggi dari drone sudah cukup, data LiDAR dapat diproses untuk tree counting jika pohon yang ingin dideteksi seragam dan memiliki ketinggian yang berbeda dengan tanaman sekitarnya. Dengan mengkonversi menjadi raster berdasarkan elevation, data ini dapat dijadikan input data untuk deep learning.

Apakah deep learning di ArcGIS Pro dapat digunakan untuk permodelan pergerakan penduduk (travel behavior)?
ArcGIS Pro dapat digunakan untuk banyak advance spatial dan pattern analysis, diantaranya dapat menggunakan Analyzing Patterns toolset pada link berikut:
https://pro.arcgis.com/en/pro-app/tool-reference/spatial-statistics/an-overview-of-the-analyzing-pat...

Bagaimana menentukan berapa persen tingkat akurasi yang mencukupi untuk objek yang kita deteksi?
Cukup tidaknya akurasi dari deteksi yang kita lakukan berdasarkan assesment yang kita lakukan, Apakah angka tersebut cukup untuk mencapai target deteksi kita.

Apakah deep learning tools di arcgis pro men-support image augmentation dan custom loss function?
Saat ini yg didukung ArcGIS Pro adalah image segmentation, object detection, dan image instance. Untuk melakukan image augmentation untuk data spatial bisa menggunakan sumber berikut ini: https://github.com/afruehstueck/tileGAN
Karena library yang dikembangkan oleh esri arcgis.learn ditujukan untuk mempermudah user melakukan deep learning workflow, maka untuk menyederhanakan workflow custom loss function tidak disediakan dan secara default menggunakan loss function yang paling mutakhir, contohnya pada model RetinaNet kami sudah menerapkan Focal Loss yg merupakan enhancement dari cross entropy loss yang dapat diakses pada link berikut:
https://developers.arcgis.com/python/guide/how-retinanet-works

Mungkinkah menghitung jumlah buah pada pohon melalui citra satelit dengan menggunakan Deep Learning?
Tantangan dalam mendeteksi buah adalah, ukurannya yang kecil, dan objek nya itu sendiri yang sering tertutup dahan/daun di atasnya. Secara resolusi imagery, untuk dapat menghasilkan imagery beresolusi sangat tinggi sangat susah dan berbiaya tinggi. Hal ini membuat perhitungan produksi dari setiap pohonnya banyak yang masih menggunakan pendekatan statistik.

Adakah tools di ArcGIS Pro yang dapat digunakan untuk mengoreksi data imagery/citra?
Koreksi data citra/imagery di ArcGIS Pro dapat dilakukan dengan memanipulasi raster dengan area lain. Untuk lebih lengkapnya dapat diakses pada link berikut:
https://pro.arcgis.com/en/pro-app/help/analysis/image-analyst/pixel-editor-in-arcgis-pro.htm

Bagaimana kondisi/akurasi geometris citra/imagery yang akan diproses? Apakah proses koreksi geometrisnya dilakukan terpisah dengan proses deep learning ini?
Koreksi geometri dilakukan sebelum deep learning workflow dimulai supaya hasil deteksinya juga merepresentasikan lokai yang sesuai/akurat.

Apakah akurasi model dengan training sample citra resolusi tinggi sama ketika di implementasi dengan citra resolusi rendah?
Kedua image/citra tersebut tidak dapat dibandingkan karena memiliki tingkat resolusi yang berbeda. training sample hingga model yang dibuat dengan deteksi objek yang dilakukan harus konsisten dengan menggunakan spesifikasi imagery/citra yang sama.

Dapatkah kita menggunakan deep learning workflow ini untuk mendeteksi tebing karst? Dapatkah juga digunakan untuk membedakan area sawah dengan tambah?
Keduanya sangat mungkin dilakukan. Kita harus menggunakan data citra/imagery serta kombinasi band yang sensitif mendeteksi objek tersebut. Khusus mendeteksi sawah dan tambak, sebaiknya menggunakan image classification workflow dengan deep learning menggunakan kombinasi band yang sensitif terhadap vegetasi dan air.

Do you know of any ESRI partners in the US or other English speaking places that have a similar webinar series, I can't find anything online other than the link I posted earlier. I'm looking to learn more?
For events and webiars about GeoAI, I suggest you to join wirh this GeoAI group on Social Media Linkedin: https://www.linkedin.com/groups/13843505/
You can also access all Esri Global events here: https://www.esri.com/en-us/about/events/index/overview and here https://events.esri.com/info/index.cfm#/

Ikuti Webinar lainnya dari Esri Indonesia melalui website berikut:
https://esriindonesia.co.id/webinars
Untuk mendapatkan materi video dari Webinar ini, silahkan akses link berikut:
https://www.youtube.com/watch?v=LCr0zHmUOuU