Si el trabajo de tu equipo requiere ingesta repetida de datos personalizados <\/STRONG>entonces te interesará convertirlo en un proceso de un solo paso - el proverbial Botón Fácil<\/STRONG>.<\/P>La mejor<\/EM> manera de compartir una integración ETL<\/STRONG> es hacer que el conjunto de datos de destino sea un servicio de características, son ideales para compartir, y por supuesto puedes crear herramientas web en Enterprise. Sin embargo, a veces no puedes usar esas opciones; necesitas una forma sencilla de ingerir un conjunto de datos solo para ti o tus colegas, o personas afines que no están en tu organización o incluso que no conoces. Solo quieres que cualquiera que haga el mismo trabajo cree los datos de la misma manera<\/STRONG>. Tus datos pueden ser sensibles o estar limitados en el tiempo, o puedes estar fuera de cualquier red. Solo quieres cargar datos en una geodatabase en un solo paso<\/STRONG>.<\/P>Un par de equipos aquí en Esri vinieron a mí recientemente con este problema y en ambos casos la solución fue la misma - ArcGIS Data Interoperability<\/STRONG> formatos personalizados<\/STRONG><\/A>. Data Interoperability viene con un 'botón fácil' llamado la herramienta de geoprocesamiento Quick Import<\/STRONG><\/A>. Esta herramienta te permite elegir cualquier formato no ráster de su galería de unas 500 opciones y convertir los datos a file geodatabase. Para agregar nuevos formatos<\/STRONG> todo lo que necesitas hacer es crearlos! Relájate, es una experiencia sin código<\/STRONG>. Luego puedes compartirlos con cualquiera. En los casos de mis colegas estaban tratando con 'dialectos' especiales de XML y CSV que necesitaban lógica específica para crear las características correctamente. Los formatos personalizados se construyen sobre formatos existentes<\/STRONG> (por ejemplo XML, CSV y cientos más) y encapsulan toda la lógica para crear clases de entidades o tablas como necesites<\/STRONG>.<\/P>Datos como el actual clima en EE.UU. pueden consultarse en una ubicación:<\/A><\/P>Informe del Servicio Meteorológico Nacional<\/span><\/span><\/P> <\/P>Cualquiera puede hacer esto con Quick Import<\/STRONG> si la respuesta del sitio meteorológico se convierte en un formato personalizado. Yo hice esto, así que la galería de formatos del conjunto de datos de entrada Quick Import me permite elegir el formato US Point Location Weather Forecast<\/STRONG> y configurar sus parámetros (cualquier dirección, ubicación o POI en EE.UU. funcionará, bajo el capó usa el World Geocode Service):<\/P>Formato del Clima en EE.UU.<\/span><\/span><\/P> <\/P>Propiedades del Formato del Clima<\/span><\/span><\/P> <\/P>Luego una característica Forecast está disponible para mapear y consultar - el hexágono verde es una característica meteorológica:<\/P>Característica Meteorológica de Boston<\/span><\/span><\/P>Spoiler<\/a> (Resalta para leer)<\/noscript>Esto no es relevante para la historia de los formatos personalizados, pero la característica es un hexágono porque usé una codificación Uber H3 del valor XY geocodificado desde la entrada. Esto cumple con los términos para uso sin almacenamiento del servicio de geocodificación - todo lo que sé es que el XY geocodificado está en algún lugar dentro del hexágono. El tamaño del hexágono (es decir, la escala del índice H3) también coincide con la cobertura que el servicio NWS de NOAA devuelve para un pronóstico puntual.<\/div>Esto no es relevante para la historia de los formatos personalizados, pero la característica es un hexágono porque usé una codificación Uber H3 del valor XY geocodificado desde la entrada. Esto cumple con los términos para uso sin almacenamiento del servicio de geocodificación - todo lo que sé es que el XY geocodificado está en algún lugar dentro del hexágono. El tamaño del hexágono (es decir, la escala del índice H3) también coincide con la cobertura que el servicio NWS de NOAA devuelve para un pronóstico puntual.<\/div><\/<\noscript><\/<\div><\/<\div> Entonces ¿cómo haces un formato personalizado?<\/<\STRONG> Todo lo que se requiere es solo un documento independiente normal de Workbench (.fmw) que cumpla dos condiciones:<\/<\P>El espacio de trabajo debe tener un conjunto de datos de entrada<\/<\LI>El espacio de trabajo debe escribir a una file geodatabase<\/<\LI><\/<\UL>Una vez que hayas configurado tu espacio de trabajo y verificado que crea datos correctamente, el menú Archivo<\/<\STRONG> en Workbench<\/<\STRONG> tiene una opción Exportar como Formato Personalizado<\/<\STRONG>. Esto guarda el espacio de trabajo como una definición de formato en una ubicación predeterminada en tu directorio de perfil con un nombre corto y descripción larga que puedes ver y buscar en la galería de formatos. La definición del formato tiene la extensión de archivo '.fds'<\/<\STRONG>, pero sigue siendo editable con Workbench. Estos archivos fds pueden compartirse con cualquiera ya sea copiándolos en su directorio de perfil o colocándolos en un recurso compartido al que puedan acceder - el diálogo Herramientas>Opciones FME>Rutas Predeterminadas<\/<\STRONG> te permite especificar Carpetas Compartidas FME donde tu equipo puede compartir archivos fds y otros recursos como credenciales.<\/<\P>Aquí está mi directorio de perfil con algunos formatos personalizados:<\/<\P>C:\Users\\u003cusername\\Documents\\FME\\Formats<\/<\span><\/<\span>Dos de estos archivos están en la descarga del blog, NWSFORECAST.fds y CASOLAR.fds - los nombres provienen del nombre corto que le das al formato al exportar. Si los copias en tu carpeta C:\Users\\u003cusername\\Documents\\FME\\Formats (créala si aún no existe) tendrás dos formatos nuevos!<\/<p>NWSFORECAST es el formato del pronóstico meteorológico y CASOLAR son datos sobre . Este es un resumen tabular mensual sobre instalaciones eléctricas (que no están fuera de red) en California, tiene muchos campos describiendo proyectos generadores (principalmente solares).<2Fp>Aquí están los datos al momento resumidos como kilovatios totales por código postal y extruidos como 1Kw = 1m:<2Fp>3E3C/span>3Cp>If you want your own copy look for this format:<2Fp>3Cp>3Cspan class=22lia-inline-image-display-wrapper lia-image-align-inline22 image-alt=22California Generation Format22 style=22width: 458px;223E3E3C/span>3Cp>I chose to make these example custom formats from underlying XML for the weather format and CSV for the power generation format, partly because XML and CSV (along with JSON) are frequently encountered but also because in this case they are delivered via HTTP, not a dataset reader, and I wanted to show you how to do that. To meet the condition that a custom format workspace must have an input dataset I used a special format called NULL, which as the name suggests does nothing.<p>If you edit the fds files you'll see nothing special.<p>Banco de trabajo de formato meteorológico
Informe del Servicio Meteorológico Nacional<\/span><\/span><\/P> <\/P>Cualquiera puede hacer esto con Quick Import<\/STRONG> si la respuesta del sitio meteorológico se convierte en un formato personalizado. Yo hice esto, así que la galería de formatos del conjunto de datos de entrada Quick Import me permite elegir el formato US Point Location Weather Forecast<\/STRONG> y configurar sus parámetros (cualquier dirección, ubicación o POI en EE.UU. funcionará, bajo el capó usa el World Geocode Service):<\/P>Formato del Clima en EE.UU.<\/span><\/span><\/P> <\/P>Propiedades del Formato del Clima<\/span><\/span><\/P> <\/P>Luego una característica Forecast está disponible para mapear y consultar - el hexágono verde es una característica meteorológica:<\/P>Característica Meteorológica de Boston<\/span><\/span><\/P>
Entonces ¿cómo haces un formato personalizado?<\/<\STRONG> Todo lo que se requiere es solo un documento independiente normal de Workbench (.fmw) que cumpla dos condiciones:<\/<\P>El espacio de trabajo debe tener un conjunto de datos de entrada<\/<\LI>El espacio de trabajo debe escribir a una file geodatabase<\/<\LI><\/<\UL>Una vez que hayas configurado tu espacio de trabajo y verificado que crea datos correctamente, el menú Archivo<\/<\STRONG> en Workbench<\/<\STRONG> tiene una opción Exportar como Formato Personalizado<\/<\STRONG>. Esto guarda el espacio de trabajo como una definición de formato en una ubicación predeterminada en tu directorio de perfil con un nombre corto y descripción larga que puedes ver y buscar en la galería de formatos. La definición del formato tiene la extensión de archivo '.fds'<\/<\STRONG>, pero sigue siendo editable con Workbench. Estos archivos fds pueden compartirse con cualquiera ya sea copiándolos en su directorio de perfil o colocándolos en un recurso compartido al que puedan acceder - el diálogo Herramientas>Opciones FME>Rutas Predeterminadas<\/<\STRONG> te permite especificar Carpetas Compartidas FME donde tu equipo puede compartir archivos fds y otros recursos como credenciales.<\/<\P>Aquí está mi directorio de perfil con algunos formatos personalizados:<\/<\P>C:\Users\\u003cusername\\Documents\\FME\\Formats<\/<\span><\/<\span>
Dos de estos archivos están en la descarga del blog, NWSFORECAST.fds y CASOLAR.fds - los nombres provienen del nombre corto que le das al formato al exportar. Si los copias en tu carpeta C:\Users\\u003cusername\\Documents\\FME\\Formats (créala si aún no existe) tendrás dos formatos nuevos!<\/<p>NWSFORECAST es el formato del pronóstico meteorológico y CASOLAR son datos sobre
Banco de trabajo de proyectos solares
Si desea probar los formatos personalizados necesitará la extensión ArcGIS Data Interoperability instalada para Pro. Usé Pro 2.9 para crear los formatos y no he probado versiones anteriores. Tenga en cuenta que los datos de generación de energía tomarán aproximadamente 40 minutos para descargarse y procesarse (casi 1.3 millones de filas), y necesitará encontrar los límites de códigos postales de California para mapear los datos. El formato del informe meteorológico tarda unos segundos.
Mi mensaje real aquí es que una persona con habilidades en Data Interoperability (o FME) puede crear formatos personalizados para ingestión con un solo botón y compartir la funcionalidad con cualquiera que use la extensión. La persona que usa el formato solo necesita conocer la herramienta Quick Import y no necesita capacitación en Data Interoperability.
Great thanks Bruce!
Hi Gab
Lets take this off the blog thread, if you can email me as bharold at esri dot com and attach a file I'll take a look.
Hi Bruce,
I tried the EsriJSON reader and didn't get the result of each feature being extracted. I got one point shapefile that is all. It wasn't in the correct geographic location as well.
I just want a tool to read the .markup file, extract the features and then write each out as a point, line and polygon dependent on the content of said .markup file.
Do you know of any other program or script that can do this?
Thanks.
Please try the EsriJSON reader on this file.
I asked the question on the community forum as well as a new user. 🙂
Below is the Notepad ++ for 3 features (point, line and polygon) with the "notes" from ArcGIS Explorer, for example "This is an area" as well as a snippet of what the features look like in the mapping area of the program. The projection is in WMAS:
{"version":"1.0","center":{"x":-10986870.271851821,"y":8242331.5418692939,"spatialReference":{"wkid":102100,"latestWkid":3857}},"scale":3354792.5980079924,"markup":{"elements":[{"arrow":false,"geometry":{"paths":[[[-11220404.649048025,8150437.7533329763],[-11220213.247105539,8151177.2623707335],[-11219830.443220563,8152656.2804462491],[-11218908.231817715,8154126.5989443678],[-11217446.612896994,8155588.2178650908],[-11216341.699129056,8156319.0273254514],[-11215593.490513902,8156319.0273254514],[-11213200.960612934,8157980.7590058204],[-11209164.109426156,8161304.2223665603],[-11204379.03838446,8164436.2500655204],[-11198845.747487843,8167376.8421027008],[-11190554.533199845,8170691.5721667521],[-11179505.395520464,8174380.4402576713],[-11169013.075753514,8176964.3833408887],[-11159077.573898993,8178443.4014164042],[-11144896.408520654,8179365.6128192516],[-11126469.579618488,8179731.0175494328],[-11113758.721498501,8179539.6156069459],[-11106763.834160691,8178791.4069917919],[-11096271.503153976,8176946.9841860961],[-11082281.728478357,8174006.3471898586],[-11072702.909297094,8171248.4125587121],[-11067535.045610188,8168673.1802926548],[-11062932.676933579,8165358.4389888402],[-11058895.803267274,8161304.1886472683],[-11054110.732225576,8155779.6198075768],[-11048577.463808488,8148784.7324697673],[-11042313.397170804,8138840.5085583236],[-11035318.532312524,8125946.9480732465],[-11029611.272347506,8114715.1080287751],[-11025191.617275754,8105144.9884249084],[-11022424.983067211,8096671.0830115834],[-11021311.369721875,8089293.3917888002],[-11020754.563049208,8081002.1887405654],[-11020754.563049208,8071797.4738668799],[-11022598.985854905,8062044.6518979231],[-11026287.831466295,8051743.7228336958],[-11031264.30445048,8042904.4126901906],[-11037528.404807456,8035526.7214674074],[-11043418.378377328,8030002.1526277168],[-11048934.225160094,8026330.7061711177],[-11054093.366790075,8023390.0691748802],[-11058895.803267274,8021180.2416390041],[-11062210.544571087,8019883.9259285787],[-11064037.590701519,8019501.1220436059],[-11071397.894009273,8019309.720101119],[-11084291.45449435,8019309.720101119],[-11092399.955177495,8019866.5267737862],[-11095723.396058705,8020980.1401191205],[-11099412.230430331,8021719.6491568778],[-11103466.458292376,8022085.0538870599],[-11108808.324766979,8023555.3723851778],[-11115437.829854134,8026130.604651235],[-11126852.394743226,8029262.6435899585],[-11143052.019434249,8032951.4892013501],[-11154466.561843811,8035161.3054974629],[-11161096.021971913,8035892.0924782949],[-11169935.320875654,8037736.5152839907],[-11180984.458555033,8040694.5739145502],[-11187979.33465308,8042721.7103251005],[-11190919.94916979,8043817.9245156413],[-11193869.285743425,8045653.6477439404],[-11196827.344373982,8048228.8800099976],[-11201429.713050589,8053388.0441195071],[-11207676.391773246,8061131.1400724724],[-11212278.749210089,8066290.3041819818],[-11215236.785361117,8068865.5364480391],[-11222788.468131829,8076782.6464284612],[-11234933.797522228,8090041.6341232471],[-11241928.673620272,8097410.6145288693],[-11243773.096425969,8098889.5876453277],[-11245617.530471427,8100916.7015763493],[-11247461.975756651,8103491.9563219352],[-11248749.603129443,8105884.4974626657],[-11249480.412589803,8108094.3249985417],[-11249845.817319985,8111034.9619947793],[-11249845.817319985,8114706.4084513783],[-11248192.796456777,8118203.8521202831],[-11244886.754730359,8121527.2930014934],[-11242676.915954717,8123189.0134420991],[-11241563.280129857,8123189.0134420991],[-11241006.462217424,8123189.0134420991]]],"spatialReference":{"wkid":102100,"latestWkid":3857}},"color":0,"filled":true,"notes":"This is an area"},{"arrow":false,"geometry":{"paths":[[[-11071597.995529156,8205700.8408846781],[-11070858.486491399,8205700.8408846781],[-11069379.468415882,8205700.8408846781],[-11066986.927275153,8205144.0342120109],[-11063680.863069206,8204030.4208666757],[-11059443.910362545,8202185.9980609799],[-11054276.069155166,8199610.7657949235],[-11050039.127688266,8197218.2471337207],[-11046733.085961848,8195008.4420773722],[-11043609.735360757,8193346.7216367666],[-11040669.07588499,8192233.0858119037],[-11036432.123178329,8189840.5446711732],[-11030898.877240771,8186169.0982145742],[-11025000.226573031,8181384.0384126408],[-11018736.171175111,8175485.3652653741],[-11013768.409008088,8169586.6921181064],[-11010096.940071961,8163688.0189708378],[-11006416.794037966,8158346.1524962373],[-11002727.970906101,8153561.0926943049],[-11000326.741427738,8149515.5419301288],[-10999213.105602875,8146209.50020371],[-10996081.055424387,8140684.9313640194],[-10990930.590892274,8132941.8354110559],[-10986510.93582052,8126860.4598986981],[-10982822.09020913,8122440.8048269451],[-10980064.166817747,8118577.9564278601],[-10978237.165646371,8115271.9147014422],[-10974557.019612376,8109930.0482268417],[-10969023.728715762,8102552.3570040585],[-10965708.987411946,8097758.5976247285],[-10964612.795700934,8095548.7700888524],[-10961115.363271791,8090763.710286919],[-10955216.690124525,8083403.4182189284],[-10949692.121284835,8077148.0399188763],[-10944541.65675272,8071997.5753867636],[-10940487.406411149,8068317.4293527678],[-10937529.370260119,8066107.6018168917],[-10930343.04726053,8062053.3514753198],[-10918928.437412381,8056154.6783280522],[-10910089.127268877,8052100.4167467151],[-10903825.116830012,8049890.5667313104],[-10889278.54672149,8045836.3163897386],[-10866449.41694331,8039937.6657219995],[-10850980.624192176,8036257.530927768],[-10842872.168468088,8034795.9120070469],[-10836608.090590641,8033882.388941831],[-10832188.39055983,8033516.9617321221],[-10824636.685309589,8032037.9436566066],[-10813952.974839916,8029445.3347152844],[-10806592.705251453,8027418.2207842628],[-10802555.876544204,8025956.6018635407],[-10792428.961507434,8019327.1192559116],[-10776211.960141145,8007529.7729613753],[-10764788.718154186,7998873.1651829602],[-10758159.235546557,7993357.2959206663],[-10754296.353428179,7990042.5546168527],[-10753200.071799055,7988928.9412715174],[-10750624.839532997,7984509.2974395286],[-10746570.656630009,7976783.6231208863],[-10743804.03366123,7972181.2544442788],[-10742324.970626658,7970702.191409708],[-10741585.439109372,7969597.2776417695],[-10741585.439109372,7968866.5131404651],[-10741220.05685872,7967761.6106122918],[-10740489.292357415,7966282.5700572468],[-10739567.092194332,7964812.2403193647],[-10738453.456369469,7963350.6213986427],[-10737713.947331712,7962619.8119382812],[-10737348.565081058,7962619.8119382812],[-10737165.873955732,7962619.8119382812]]],"spatialReference":{"wkid":102100,"latestWkid":3857}},"color":0,"filled":false,"notes":"This is a line"},{"geometry":{"x":-11182071.973168179,"y":7978059.606098094,"spatialReference":{"wkid":102100,"latestWkid":3857}},"color":0,"notes":"This is a point"}],"name":"Markup","version":"1.0"}}
The .markup file will have to be readable somehow to make any progress, I would have to ask around what it is built from. Can you open it with Notepad++ and paste in a few lines? Your challenge may be a good topic for a question on the experts forum: https://community.safe.com/s/knowledge-base
Hi, I didn't get further than the reader input. There isn't a .markup format to import, soooo I may need someone to make a file input if that is possible? I don't know enough to get further than trying file formats that already exist on the provided formats. Thanks for replying so quickly.
I should also mention I am trying this totally offline, that is importing the .markup file from windows explorer and not a hosted feature on ArcGIS Online. I will be using the resulting written feature class or shapefile in ArcGIS Pro 2.9.1.
If there is a document that can give some guidance on how to make the reader file. I am willing to try it.
Thanks very much.
Did the custom formats in this blog post fail or another you have? If it is one of yours please open a support call and share the fds file and error details and we can take a look. If its the ones in this post please share the error details and confirm the release of ArcGIS Pro you are using - thanks.
I am a new user of the Data Interoperability Extension and I am happy to see it has so many functions. I tried to use the custom format but was unsuccessful. I am trying to extract the features (point, line and polygon) from a .markup file from ArcGIS Explorer to feature classes in a geodatabase or even shapefiles for CAD users. I know that this program is on the way out but it will be good to have the ability to do this. Any assistance is appreciated, thanks
Los miembros registrados pueden publicar, seguir actualizaciones y más. ¿Nuevo aquí? Regístrate para una cuenta gratuita.
Find useful guides, FAQs, and documents to help you navigate and make the most of Esri Community.
