「リアルタイム」地理空間および上流ビッグデータにおける高性能コンピューティングと分析

larryzhang

<\/HEAD>

今日、データはあらゆる場所で指数関数的に増加しており、その規模と複雑さが非常に大きくなっているため、従来のコンピューティングやアルゴリズムを用いてこれらを効果的に扱うことが困難になっています。これには地理空間データ（GIS、リモートセンシング）および（upstream)<\/SPAN>ビッグデータも含まれます。<\/SPAN><\/SPAN><\/P>E&Pセクターにおけるビッグデータ<\/SPAN><\/P><\/P>課題には、キャプチャ、キュレーション、保存、検索、共有、転送、分析、および可視化が含まれます。<\/SPAN><\/P><\/P>例えば、油田では、数千の油井が多数のセンサーを装備しており、毎日井戸の流動状況に関する大量の情報をキャプチャしています。年間で数十TBのデータが収集されデータストアに保存されており、それらを効果的に処理・分析する必要があります。<\/SPAN><\/P>
同様に地理空間分野では（数百GBからテラバイトの高解像度）「連続的」な画像データを扱う際、多くのCPUベースの研究開発用アルゴリズムは、最新のGISやリモートセンシング技術がArcGIS GeoEventやESRI GISツール for Hadoopなどでリアルタイム「離散」イベントベースのデータ／信号／ネットワークを扱う能力を示しているにもかかわらず、従来の画像処理タスクをタイムリー（オンデマンドまたはリアルタイム）に実行する十分な計算能力を持ちません。<\/SPAN>そのため運用時には、高解像度画像データの表示や色調整、バンドル調整、リアルタイム変化検出、油流出などの強調処理において、典型的なCPUデスクトップワークステーションの処理能力が深刻なボトルネックとなることがあります。<\/SPAN><\/P>
これらすべてのデータアプリケーションは迅速な意思決定のためにタイムリーな応答を必要とし、それは高度なIT環境（GPUクラスタコンピューティング、「Cloud」コンピューティング、MapReduce対応アプリケーションなど）でのアルゴリズム分析や画像処理（色調整など）のリアルタイム／準リアルタイム性能に依存しています。<\/SPAN><\/P>
これらオンデマンドシステムやアプリケーションは、高性能コンピューティング技術と手法から大きな恩恵を受けており、地上局へのデータ収集・伝送後でも、あるいはセンサー搭載時のリアルタイム収集中でも、データ処理と可視化を高速化します。<\/SPAN><\/P><\/P>並列分散コンピューティング施設とアルゴリズム、および高性能FPGAやDSPシステムは、大量ストリームGIS、リモートセンシング、および上流ビッグデータ（以下）処理問題に取り組むために不可欠なツールとなっています。これら施設やアルゴリズムを適切に活用するため、一部ソリューションベンダーは48;<\/SUP> Grid Manager SAS Grid Manager | SAS<\/A>など最適なツールを提供しています。<\/SPAN><\/P>

近年、GPUは非常に並列性の高い多コアプロセッサへと進化し、膨大な計算能力と高いメモリ帯域幅を備え、CPUより2～3桁高速化を実現しています。コスト効率の良いGPUコンピュータは、多くのエンジニアや研究者が様々な工学・科学アプリケーションで使用する高価なCPUクラスタコンピュータの手頃な代替手段となっています。

Comparison of Laptop Graphics Cards - NotebookCheck.net Tech<\/A> <\/SPAN><\/P>

<\/P>

運用面では、多くの高度な高性能コンピューティングアルゴリズムがSASおよびRで石油生産データ解析に成功裏に適用されています。<\/SPAN>しかしながらリモートセンシングコミュニティでの研究・ソリューション開発は依然として革新的課題に直面しており、とくに色調整やバンドル調整の自動化、および変化検出や油流出検知などリアルタイムまたはMapReduce対応アプリケーションで運用要件を満たす必要があります。<\/SPAN><\/P><\/P>実際には、「高可用性」コンピューティング性能を監視・管理・診断する効果的なツールを使用すべきであり、とくに並列処理や（負荷分散）クラスタコンピューティングなど単一計算システムとしてです。<\/SPAN>ご存知の通り、それら高性能アーキテクチャは通常Nノード（CPU-GPU）、共有メモリ、および／または仮想マシンからなる単一計算システムとして動作し、グリッドコンピューティングやクラウドコンピューティングとは明確に異なります。<\/SPAN><\/P><\/P>例えば最も簡単なタスクとしては、ArcGIS 10.3およびPro 1.0のジオプロセッシングツールが複数コア・プロセッサをどれだけ有効活用しているか監視することです。<\/SPAN><\/P><\/P><\/P>+++++++++++++++++<\/P>
Linux と CUDA対応 GPU コンピューティング<\/STRONG><\/SPAN><\/P>
CUDA^{48;<\/SUP> はNVIDIAによって開発された並列コンピューティングプラットフォームおよびプログラミングモデルです。GPUの力を活用することで計算性能を劇的に向上させます。<\/P>
詳細は}

Getting Started Linux :: CUDA Toolkit Documentation<\/A> を参照してください。<\/P>

<\/P>

Windows と CUDA対応 GPU コンピューティング<\/STRONG> <\/SPAN><\/P>

詳細は

Getting Started Windows :: CUDA Toolkit Documentation<\/A> を参照してください。<\/P>

WebGL と MPEG Dash の実装について<\/STRONG> 013年頃から業界プレイヤー間で徐々に注目されているストリーミングビデオ標準であり、IE11で利用可能になりました。

Microsoft (Finally) Confirms WebGL Support For Internet Explorer 11 | TechCrunch<\/_A>

LuisSadeck

GPU has proven an excellent alternative for data processing both vector as matrix. We have made some LUCC data processing tests at INPE and we have had good results.

Very good text, congratulations!