Pokud práce vašeho týmu vyžaduje opakovaný vlastní import dat <\/STRONG>, pak vás bude zajímat, jak z toho udělat jednostupňový proces - takzvané Easy Button (snadné tlačítko)<\/STRONG>.<\/P>Nejlepší<\/EM> způsob, jak sdílet ETL<\/STRONG> integraci, je udělat cílovou datovou sadu jako feature service, jsou ideální pro sdílení a samozřejmě můžete vytvářet webové nástroje v Enterprise. Nicméně někdy tyto možnosti nelze použít; potřebujete jednoduchý způsob, jak importovat datovou sadu jen pro sebe nebo své kolegy, nebo podobně smýšlející lidi, kteří nejsou ve vaší organizaci nebo dokonce nejsou vám známi. Chcete jen, aby kdokoli dělající stejnou práci vytvářel data stejným způsobem<\/STRONG>. Vaše data mohou být citlivá nebo časově omezená, nebo můžete být mimo jakoukoli síť. Chcete prostě data načíst do geodatabáze jedním krokem<\/STRONG>.<\/P>Několik týmů zde v Esri ke mně nedávno přišlo s tímto problémem a v obou případech bylo řešení stejné - ArcGIS Data Interoperability<\/STRONG> custom formats<\/STRONG><\/A>. Data Interoperability přichází s 'easy button' nazvaným Quick Import<\/STRONG><\/A> geoprocessingovým nástrojem. Tento nástroj vám umožní vybrat jakýkoli non-raster formát z jeho galerie asi 500 formátů a převést data do file geodatabase. Pro přidání nových formátů<\/STRONG> stačí je vytvořit! Uklidněte se, je to no-code experience<\/STRONG>. Pak je můžete sdílet s kýmkoli. V případech mých kolegů šlo o speciální 'dialekty' XML a CSV, které vyžadovaly specifickou logiku pro správné vytvoření prvků. Custom formats jsou postaveny na vrcholu existujících formátů<\/STRONG> (např. XML, CSV a stovky dalších) a zahrnují veškerou logiku pro vytváření feature classes nebo tabulek podle vašich potřeb<\/STRONG>.<\/P>Data jako aktuální počasí v USA lze dotazovat na konkrétním místě:<\/A><\/P>Zpráva Národní meteorologické služby<\/span><\/span><\/P> <\/P>Kdokoli to může udělat pomocí Quick Import<\/STRONG>, pokud je odpověď webu počasí vytvořena jako custom format. Udělal jsem to, takže galerie vstupních datasetových formátů Quick Import mi umožňuje vybrat formát US Point Location Weather Forecast<\/STRONG> a nastavit jeho parametry (jakákoli adresa, místo nebo POI v USA funguje, pod kapotou používá World Geocode Service):<\/P>Formát počasí USA<\/span><\/span><\/P> <\/P>Vlastnosti formátu počasí<\/span><\/span><\/P> <\/P>Pak je k dispozici prvek Forecast pro mapování a dotazování - zelený hexagon je prvek počasí:<\/P>Prvek počasí Bostonu<\/span><\/span><\/P>Spoiler<\/a> (Zvýrazněte pro čtení)<\/?noscript>To není relevantní pro příběh custom formats, ale prvek je hexagon, protože jsem použil Uber H3 kódování hodnoty XY získané geokódováním vstupu. To vyhovuje podmínkám pro neukládací použití geokódovací služby - vše co vím je, že geokód XY je někde uvnitř hexagonu. Velikost hexagonu (tj. měřítko indexu H3) také odpovídá pokrytí, které NOAA NWS služba vrací pro bodovou předpověď.<\/?div>To není relevantní pro příběh custom formats, ale prvek je hexagon, protože jsem použil Uber H3 kódování hodnoty XY získané geokódováním vstupu. To vyhovuje podmínkám pro neukládací použití geokódovací služby - vše co vím je, že geokód XY je někde uvnitř hexagonu. Velikost hexagonu (tj. měřítko indexu H3) také odpovídá pokrytí, které NOAA NWS služba vrací pro bodovou předpověď.<\/?div><\/?noscript><\/?div><\/?div> Jak tedy vytvoříte custom format?<\/?STRONG> Stačí mít normální samostatný dokument Workbench (.fmw), který splňuje dvě podmínky:<\/?P>Workspace musí mít vstupní dataset<\/?LI>Workspace musí zapisovat do file geodatabase<\/?LI><\/?UL>Až nakonfigurujete workspace a ověříte, že data vytváří správně, nabídka Soubory<\/?STRONG> v Workbench<\/?STRONG> má volbu Exportovat jako Custom Format<\/?STRONG>. Tím se workspace uloží jako definice formátu do výchozího umístění ve vašem profilovém adresáři s krátkým názvem a dlouhým popisem, který můžete vidět a vyhledávat v galerii formátů. Definice formátu má příponu souboru '.fds'<\/?STRONG>, ale zůstává editovatelná pomocí Workbench. Tyto fds soubory lze sdílet s kýmkoli buď zkopírováním do jejich profilového adresáře nebo umístěním na sdílený disk, který mohou vidět - dialog Nástroje>FME Možnosti>Výchozí cesty<\/?STRONG> umožňuje specifikovat Sdílené FME složky, kde váš tým může sdílet fds soubory a další zdroje jako přihlašovací údaje.<\/?P>Zde je můj profilový adresář s několika custom formats:<\/?P>C:\Users\<username>\Documents\FME\Formats<\/?span><\/?span><\/?P>Dva z těchto souborů jsou ke stažení v blogu, NWSFORECAST.fds a CASOLAR.fds <\/?STRONG>- názvy souborů pocházejí z krátkého názvu, který zadáte při exportu formátu. Pokud je zkopírujete do své C:\Users\<username>\Documents\FME\Formats<\/?STRONG> složky (vytvořte ji pokud ještě neexistuje), budete mít dva nové formáty!<\/?P>NWSFORECAST je formát předpovědi počasí a CASOLAR jsou data o California Distributed Generation Interconnected Project Sites <\/?A>. Jedná se o tabulkový měsíční přehled instalací elektrické výroby (které nejsou mimo síť) v Kalifornii, obsahuje mnoho polí popisujících projekty výroby (většinou solární).<\/?P>Zde jsou data ke dni psaní shrnutá jako celkový systémový výkon v kilowattech podle PSČ a extrudovaná jako 1Kw = 1m:<\/?P>California Generation Kw listopad 2021<\/?span><\/?span><\/?P>Pokud chcete vlastní kopii, hledejte tento formát:<\/?P>< span class=“lia-inline-image-caption” onclick=“event.preventDefault();” > Formát kalifornské výroby < \/ span >< \/ span >< \/ P >< P > Rozhodl jsem se vytvořit tyto ukázkové custom formats ze základního XML pro formát počasí a CSV pro formát výroby energie, částečně proto, že XML a CSV (spolu s JSON) jsou často používané a také proto, že v tomto případě jsou doručovány přes HTTP, nikoli jako dataset reader, a chtěl jsem vám ukázat jak na to.& nbsp ; Abych splnil podmínku, že workspace custom format musí mít vstupní dataset použil jsem speciální formát nazvaný < STRONG > NULL < \/ STRONG > , který jak název napovídá nic nedělá.< \/ P >< P > Pokud upravíte fds soubory uvidíte nic zvláštního.< \/ P >< P >< span class = " lia-inline-image-display-wrapper " > lia-image-align-inline" image-alt="Pracovní plocha formátu počasí" style="width: 999px;">Pracovní plocha formátu počasí Pracovní plocha solárních projektůPokud chcete vyzkoušet vlastní formáty, budete potřebovat nainstalované rozšíření ArcGIS Data Interoperability pro Pro. Použil jsem Pro 2.9 k vytvoření formátů a dřívější verze jsem netestoval. Mějte na paměti, že data o výrobě energie budou trvat asi 40 minut ke stažení a zpracování (téměř 1,3 milionu řádků) a budete muset najít hranice poštovních směrovacích čísel Kalifornie pro mapování dat. Formát zprávy o počasí trvá pár sekund.Moje skutečná zpráva zde je, že jedna osoba se znalostmi Data Interoperability (nebo FME) může vytvořit vlastní formáty pro rychlý import a sdílet tuto funkčnost s kýmkoli, kdo používá toto rozšíření. Osoba používající formát potřebuje znát pouze nástroj Quick Import a nepotřebuje školení Data Interoperability.
Zpráva Národní meteorologické služby<\/span><\/span><\/P> <\/P>Kdokoli to může udělat pomocí Quick Import<\/STRONG>, pokud je odpověď webu počasí vytvořena jako custom format. Udělal jsem to, takže galerie vstupních datasetových formátů Quick Import mi umožňuje vybrat formát US Point Location Weather Forecast<\/STRONG> a nastavit jeho parametry (jakákoli adresa, místo nebo POI v USA funguje, pod kapotou používá World Geocode Service):<\/P>Formát počasí USA<\/span><\/span><\/P> <\/P>Vlastnosti formátu počasí<\/span><\/span><\/P> <\/P>Pak je k dispozici prvek Forecast pro mapování a dotazování - zelený hexagon je prvek počasí:<\/P>Prvek počasí Bostonu<\/span><\/span><\/P>
Jak tedy vytvoříte custom format?<\/?STRONG> Stačí mít normální samostatný dokument Workbench (.fmw), který splňuje dvě podmínky:<\/?P>Workspace musí mít vstupní dataset<\/?LI>Workspace musí zapisovat do file geodatabase<\/?LI><\/?UL>Až nakonfigurujete workspace a ověříte, že data vytváří správně, nabídka Soubory<\/?STRONG> v Workbench<\/?STRONG> má volbu Exportovat jako Custom Format<\/?STRONG>. Tím se workspace uloží jako definice formátu do výchozího umístění ve vašem profilovém adresáři s krátkým názvem a dlouhým popisem, který můžete vidět a vyhledávat v galerii formátů. Definice formátu má příponu souboru '.fds'<\/?STRONG>, ale zůstává editovatelná pomocí Workbench. Tyto fds soubory lze sdílet s kýmkoli buď zkopírováním do jejich profilového adresáře nebo umístěním na sdílený disk, který mohou vidět - dialog Nástroje>FME Možnosti>Výchozí cesty<\/?STRONG> umožňuje specifikovat Sdílené FME složky, kde váš tým může sdílet fds soubory a další zdroje jako přihlašovací údaje.<\/?P>Zde je můj profilový adresář s několika custom formats:<\/?P>C:\Users\<username>\Documents\FME\Formats<\/?span><\/?span><\/?P>Dva z těchto souborů jsou ke stažení v blogu, NWSFORECAST.fds a CASOLAR.fds <\/?STRONG>- názvy souborů pocházejí z krátkého názvu, který zadáte při exportu formátu. Pokud je zkopírujete do své C:\Users\<username>\Documents\FME\Formats<\/?STRONG> složky (vytvořte ji pokud ještě neexistuje), budete mít dva nové formáty!<\/?P>NWSFORECAST je formát předpovědi počasí a CASOLAR jsou data o
Zde jsou data ke dni psaní shrnutá jako celkový systémový výkon v kilowattech podle PSČ a extrudovaná jako 1Kw = 1m:<\/?P>
California Generation Kw listopad 2021<\/?span><\/?span><\/?P>Pokud chcete vlastní kopii, hledejte tento formát:<\/?P>< span class=“lia-inline-image-caption” onclick=“event.preventDefault();” > Formát kalifornské výroby < \/ span >< \/ span >< \/ P >< P > Rozhodl jsem se vytvořit tyto ukázkové custom formats ze základního XML pro formát počasí a CSV pro formát výroby energie, částečně proto, že XML a CSV (spolu s JSON) jsou často používané a také proto, že v tomto případě jsou doručovány přes HTTP, nikoli jako dataset reader, a chtěl jsem vám ukázat jak na to.& nbsp ; Abych splnil podmínku, že workspace custom format musí mít vstupní dataset použil jsem speciální formát nazvaný < STRONG > NULL < \/ STRONG > , který jak název napovídá nic nedělá.< \/ P >< P > Pokud upravíte fds soubory uvidíte nic zvláštního.< \/ P >< P >< span class = " lia-inline-image-display-wrapper " > lia-image-align-inline" image-alt="Pracovní plocha formátu počasí" style="width: 999px;">Pracovní plocha formátu počasí
Pracovní plocha solárních projektů
Pokud chcete vyzkoušet vlastní formáty, budete potřebovat nainstalované rozšíření ArcGIS Data Interoperability pro Pro. Použil jsem Pro 2.9 k vytvoření formátů a dřívější verze jsem netestoval. Mějte na paměti, že data o výrobě energie budou trvat asi 40 minut ke stažení a zpracování (téměř 1,3 milionu řádků) a budete muset najít hranice poštovních směrovacích čísel Kalifornie pro mapování dat. Formát zprávy o počasí trvá pár sekund.
Moje skutečná zpráva zde je, že jedna osoba se znalostmi Data Interoperability (nebo FME) může vytvořit vlastní formáty pro rychlý import a sdílet tuto funkčnost s kýmkoli, kdo používá toto rozšíření. Osoba používající formát potřebuje znát pouze nástroj Quick Import a nepotřebuje školení Data Interoperability.
Great thanks Bruce!
Hi Gab
Lets take this off the blog thread, if you can email me as bharold at esri dot com and attach a file I'll take a look.
Hi Bruce,
I tried the EsriJSON reader and didn't get the result of each feature being extracted. I got one point shapefile that is all. It wasn't in the correct geographic location as well.
I just want a tool to read the .markup file, extract the features and then write each out as a point, line and polygon dependent on the content of said .markup file.
Do you know of any other program or script that can do this?
Thanks.
Please try the EsriJSON reader on this file.
I asked the question on the community forum as well as a new user. 🙂
Below is the Notepad ++ for 3 features (point, line and polygon) with the "notes" from ArcGIS Explorer, for example "This is an area" as well as a snippet of what the features look like in the mapping area of the program. The projection is in WMAS:
{"version":"1.0","center":{"x":-10986870.271851821,"y":8242331.5418692939,"spatialReference":{"wkid":102100,"latestWkid":3857}},"scale":3354792.5980079924,"markup":{"elements":[{"arrow":false,"geometry":{"paths":[[[-11220404.649048025,8150437.7533329763],[-11220213.247105539,8151177.2623707335],[-11219830.443220563,8152656.2804462491],[-11218908.231817715,8154126.5989443678],[-11217446.612896994,8155588.2178650908],[-11216341.699129056,8156319.0273254514],[-11215593.490513902,8156319.0273254514],[-11213200.960612934,8157980.7590058204],[-11209164.109426156,8161304.2223665603],[-11204379.03838446,8164436.2500655204],[-11198845.747487843,8167376.8421027008],[-11190554.533199845,8170691.5721667521],[-11179505.395520464,8174380.4402576713],[-11169013.075753514,8176964.3833408887],[-11159077.573898993,8178443.4014164042],[-11144896.408520654,8179365.6128192516],[-11126469.579618488,8179731.0175494328],[-11113758.721498501,8179539.6156069459],[-11106763.834160691,8178791.4069917919],[-11096271.503153976,8176946.9841860961],[-11082281.728478357,8174006.3471898586],[-11072702.909297094,8171248.4125587121],[-11067535.045610188,8168673.1802926548],[-11062932.676933579,8165358.4389888402],[-11058895.803267274,8161304.1886472683],[-11054110.732225576,8155779.6198075768],[-11048577.463808488,8148784.7324697673],[-11042313.397170804,8138840.5085583236],[-11035318.532312524,8125946.9480732465],[-11029611.272347506,8114715.1080287751],[-11025191.617275754,8105144.9884249084],[-11022424.983067211,8096671.0830115834],[-11021311.369721875,8089293.3917888002],[-11020754.563049208,8081002.1887405654],[-11020754.563049208,8071797.4738668799],[-11022598.985854905,8062044.6518979231],[-11026287.831466295,8051743.7228336958],[-11031264.30445048,8042904.4126901906],[-11037528.404807456,8035526.7214674074],[-11043418.378377328,8030002.1526277168],[-11048934.225160094,8026330.7061711177],[-11054093.366790075,8023390.0691748802],[-11058895.803267274,8021180.2416390041],[-11062210.544571087,8019883.9259285787],[-11064037.590701519,8019501.1220436059],[-11071397.894009273,8019309.720101119],[-11084291.45449435,8019309.720101119],[-11092399.955177495,8019866.5267737862],[-11095723.396058705,8020980.1401191205],[-11099412.230430331,8021719.6491568778],[-11103466.458292376,8022085.0538870599],[-11108808.324766979,8023555.3723851778],[-11115437.829854134,8026130.604651235],[-11126852.394743226,8029262.6435899585],[-11143052.019434249,8032951.4892013501],[-11154466.561843811,8035161.3054974629],[-11161096.021971913,8035892.0924782949],[-11169935.320875654,8037736.5152839907],[-11180984.458555033,8040694.5739145502],[-11187979.33465308,8042721.7103251005],[-11190919.94916979,8043817.9245156413],[-11193869.285743425,8045653.6477439404],[-11196827.344373982,8048228.8800099976],[-11201429.713050589,8053388.0441195071],[-11207676.391773246,8061131.1400724724],[-11212278.749210089,8066290.3041819818],[-11215236.785361117,8068865.5364480391],[-11222788.468131829,8076782.6464284612],[-11234933.797522228,8090041.6341232471],[-11241928.673620272,8097410.6145288693],[-11243773.096425969,8098889.5876453277],[-11245617.530471427,8100916.7015763493],[-11247461.975756651,8103491.9563219352],[-11248749.603129443,8105884.4974626657],[-11249480.412589803,8108094.3249985417],[-11249845.817319985,8111034.9619947793],[-11249845.817319985,8114706.4084513783],[-11248192.796456777,8118203.8521202831],[-11244886.754730359,8121527.2930014934],[-11242676.915954717,8123189.0134420991],[-11241563.280129857,8123189.0134420991],[-11241006.462217424,8123189.0134420991]]],"spatialReference":{"wkid":102100,"latestWkid":3857}},"color":0,"filled":true,"notes":"This is an area"},{"arrow":false,"geometry":{"paths":[[[-11071597.995529156,8205700.8408846781],[-11070858.486491399,8205700.8408846781],[-11069379.468415882,8205700.8408846781],[-11066986.927275153,8205144.0342120109],[-11063680.863069206,8204030.4208666757],[-11059443.910362545,8202185.9980609799],[-11054276.069155166,8199610.7657949235],[-11050039.127688266,8197218.2471337207],[-11046733.085961848,8195008.4420773722],[-11043609.735360757,8193346.7216367666],[-11040669.07588499,8192233.0858119037],[-11036432.123178329,8189840.5446711732],[-11030898.877240771,8186169.0982145742],[-11025000.226573031,8181384.0384126408],[-11018736.171175111,8175485.3652653741],[-11013768.409008088,8169586.6921181064],[-11010096.940071961,8163688.0189708378],[-11006416.794037966,8158346.1524962373],[-11002727.970906101,8153561.0926943049],[-11000326.741427738,8149515.5419301288],[-10999213.105602875,8146209.50020371],[-10996081.055424387,8140684.9313640194],[-10990930.590892274,8132941.8354110559],[-10986510.93582052,8126860.4598986981],[-10982822.09020913,8122440.8048269451],[-10980064.166817747,8118577.9564278601],[-10978237.165646371,8115271.9147014422],[-10974557.019612376,8109930.0482268417],[-10969023.728715762,8102552.3570040585],[-10965708.987411946,8097758.5976247285],[-10964612.795700934,8095548.7700888524],[-10961115.363271791,8090763.710286919],[-10955216.690124525,8083403.4182189284],[-10949692.121284835,8077148.0399188763],[-10944541.65675272,8071997.5753867636],[-10940487.406411149,8068317.4293527678],[-10937529.370260119,8066107.6018168917],[-10930343.04726053,8062053.3514753198],[-10918928.437412381,8056154.6783280522],[-10910089.127268877,8052100.4167467151],[-10903825.116830012,8049890.5667313104],[-10889278.54672149,8045836.3163897386],[-10866449.41694331,8039937.6657219995],[-10850980.624192176,8036257.530927768],[-10842872.168468088,8034795.9120070469],[-10836608.090590641,8033882.388941831],[-10832188.39055983,8033516.9617321221],[-10824636.685309589,8032037.9436566066],[-10813952.974839916,8029445.3347152844],[-10806592.705251453,8027418.2207842628],[-10802555.876544204,8025956.6018635407],[-10792428.961507434,8019327.1192559116],[-10776211.960141145,8007529.7729613753],[-10764788.718154186,7998873.1651829602],[-10758159.235546557,7993357.2959206663],[-10754296.353428179,7990042.5546168527],[-10753200.071799055,7988928.9412715174],[-10750624.839532997,7984509.2974395286],[-10746570.656630009,7976783.6231208863],[-10743804.03366123,7972181.2544442788],[-10742324.970626658,7970702.191409708],[-10741585.439109372,7969597.2776417695],[-10741585.439109372,7968866.5131404651],[-10741220.05685872,7967761.6106122918],[-10740489.292357415,7966282.5700572468],[-10739567.092194332,7964812.2403193647],[-10738453.456369469,7963350.6213986427],[-10737713.947331712,7962619.8119382812],[-10737348.565081058,7962619.8119382812],[-10737165.873955732,7962619.8119382812]]],"spatialReference":{"wkid":102100,"latestWkid":3857}},"color":0,"filled":false,"notes":"This is a line"},{"geometry":{"x":-11182071.973168179,"y":7978059.606098094,"spatialReference":{"wkid":102100,"latestWkid":3857}},"color":0,"notes":"This is a point"}],"name":"Markup","version":"1.0"}}
The .markup file will have to be readable somehow to make any progress, I would have to ask around what it is built from. Can you open it with Notepad++ and paste in a few lines? Your challenge may be a good topic for a question on the experts forum: https://community.safe.com/s/knowledge-base
Hi, I didn't get further than the reader input. There isn't a .markup format to import, soooo I may need someone to make a file input if that is possible? I don't know enough to get further than trying file formats that already exist on the provided formats. Thanks for replying so quickly.
I should also mention I am trying this totally offline, that is importing the .markup file from windows explorer and not a hosted feature on ArcGIS Online. I will be using the resulting written feature class or shapefile in ArcGIS Pro 2.9.1.
If there is a document that can give some guidance on how to make the reader file. I am willing to try it.
Thanks very much.
Did the custom formats in this blog post fail or another you have? If it is one of yours please open a support call and share the fds file and error details and we can take a look. If its the ones in this post please share the error details and confirm the release of ArcGIS Pro you are using - thanks.
I am a new user of the Data Interoperability Extension and I am happy to see it has so many functions. I tried to use the custom format but was unsuccessful. I am trying to extract the features (point, line and polygon) from a .markup file from ArcGIS Explorer to feature classes in a geodatabase or even shapefiles for CAD users. I know that this program is on the way out but it will be good to have the ability to do this. Any assistance is appreciated, thanks
Přihlášení členové mohou přispívat, sledovat aktualizace a další. Nový zde? Zaregistrujte si bezplatný účet.
Find useful guides, FAQs, and documents to help you navigate and make the most of Esri Community.
