Open Streetmap naar ArcGIS Online met de ArcGIS API for Python

SimonGeigenberger

<\/HEAD>

Het verkrijgen van geodata is bij veel projecten een tijdrovende taak. Dit hoeven niet in elk geval zeer nauwkeurige gegevens te zijn. Voor sommige vraagstukken is ook input van Open Streetmap voldoende. Of het nu gaat om studentenprojecten, om een overzicht van een onderwerp te krijgen of om een doelgroep van informatie te voorzien. Er bestaat de mogelijkheid deze gegevens te downloaden, in ArcMap of ArcGIS Pro te importeren, de gewenste gegevens te filteren en deze vervolgens bijvoorbeeld als dienst te publiceren. Deze weg is zeer tijdintensief en daarom is er een oplossing nodig om de gegevensbron Open Streetmap direct met het ArcGIS-platform te verbinden, zonder de omweg via een desktopproduct te hoeven nemen.<\/P>

<\/P>

<\/P>

<\/P>

Voor de uitvoering van dit idee biedt de ArcGIS API for Python<\/A> zich aan, omdat deze naast diverse analysetools ook veelzijdige toegang tot ArcGIS Online en ArcGIS for Portal biedt. Op basis van deze technologie zijn verschillende Python-scripts gemaakt en op GitHub gepubliceerd. Het doel van dit project is dat gegevens binnen een vast te stellen gebied automatisch als Feature Service worden gepubliceerd.<\/P>

 <\/P>

De uitvoering vond plaats in twee Python-scripts, die ook afzonderlijk kunnen worden gebruikt. Voordat het proces met de gegevens kan plaatsvinden, moet de gebruiker echter twee configuratiebestanden aanpassen. Een van deze bestanden bepaalt de configuratie voor de te publiceren OSM-gegevens via een

JSON-bestand<\/A>. Om het script te kunnen starten moeten verschillende parameters, zoals beschreven in de tabel, worden ingesteld.<\/P>

 <\/P>

<\/P>

<\/P>

Naast een lijst met categorieën die in OSM als paar van

Key en Value<\/A> worden weergegeven, kunnen ook andere attributen <\/A>van de datasets worden overgenomen. Daarnaast moeten een Bounding Box<\/A> en de gewenste geometrieën worden opgegeven. Op basis van deze input wordt een Python-script <\/A>uitgevoerd dat de gewenste gegevens via requests aan de Overpass <\/A>en OSM API<\/A> opvraagt.<\/P>

<\/P>

response <SPAN class="operator token">=<\/SPAN> api<SPAN class="punctuation token">.<\/SPAN>Get<SPAN class="punctuation token">(<\/SPAN><SPAN class="string token">'node['<SPAN class=\"operator token\">+<\/<SPAN> category <SPAN class=\"operator token\">+<\/<SPAN> <SPAN class=\"string token\">']('<\/<SPAN> <SPAN class=\"operator token\">+<\/<SPAN> minLat <SPAN class=\"operator token\">+<\/<SPAN> <SPAN class=\"string token\">','<\/<SPAN> <SPAN class=\"operator token\">+<\/<SPAN> minLon <SPAN class=\"operator token\">+<\/<SPAN> <SPAN class=\"string token\">','<\/<SPAN> \n&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <SPAN class=\"operator token\">+<\/<SPAN> maxLat <SPAN class=\"operator token\">+<\/<SPAN> <SPAN class=\"string token\">','<\/<SPAN> <SPAN class=\"operator token\">+<\/<SPAN> maxLon <SPAN class=\"operator token\">+<\/<SPAN> <SPAN class=\"string token\">')'<\/<SPAN><SPAN class=\"punctuation token\">,<\/<SPAN> responseformat<SPAN class=\"operator token\">=<\/<SPAN><SPAN class=\"string token\">"json"<\/<SPAN><SPAN class=\"punctuation token\">)<\/<SPAN> \n&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; elements <SPAN class=\"operator token\">=<\/<SPAN> response<SPAN class=\"punctuation token\">[<\/<SPAN><SPAN class=\"string token\">"elements"<\/<SPAN><SPAN class=\"punctuation token\">]<\/<SPAN> \n&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <SPAN class=\"keyword token\">for<\/<SPAN> element <SPAN class=\"keyword token\">in<\/<SPAN> elements<SPAN class=\"punctuation token\">:<\/<SPAN> \n&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dictElement <SPAN class=\"operator token\">=<\/<SPAN> <SPAN class=\"punctuation token\">{<\/<SPAN><SPAN class=\"punctuation token\">}<\/<SPAN> \n&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tags <SPAN class=\"operator token\">=<
[</span>element<span class=punctuation-token>[</span><span class=string-token>tags</span><span class=punctuation-token>]]</span>
&nbsp;
 tags = tags[0]
&nbsp;
 for key_att in attributes:
&nbsp;
 
 val_att = attributes[key_att]
&nbsp;
 
 if val_att in tags:
&nbsp;
 
 
 dictElement[key_att] = tags[val_att]
&nbsp;
 
 id = element[" id"]
&nbsp;
 #id = float(id)
&nbsp;
 dictElement[" id"] = id
&nbsp;
 dictElement[" lon"] = element[" lon"]
&nbsp;
 dictElement[" lat"] = element[" lat"]
&nbsp;
 if "user" in attributes or "timestamp " in attributes:
&nbsp;
 try:
&nbsp;
 node = oApi.NodeGet(element[" id"])
&nbsp;
 if "user " in attributes:
&nbsp;
  <SPAN class="keyword token">als</SPAN> <SPAN class="string token">"user"</SPAN> <SPAN class="keyword token">in</SPAN> node<SPAN class="punctuation token">.</SPAN>keys<SPAN class="punctuation token">()</SPAN><SPAN class="punctuation token">:</SPAN>
                                     dictElement<SPAN class="punctuation token">[</SPAN><SPAN class="string token">"user_"</SPAN><SPAN class="punctuation token">]</SPAN> <SPAN class="operator token">=</SPAN> node<SPAN class="punctuation token">[</SPAN><SPAN class="string token">"user"</SPAN><SPAN class="punctuation token">]</SPAN>
                                  <span style="white-space: pre;">       </span><span style="white-space: pre;">    </span><SPAN class="keyword token">als</SPAN> <SPAN class="string token">"timestamp"</SPAN> <SPAN class="keyword token">in</SPAN> attributes<SPAN class="punctuation token">:</SPAN>
                                        <span style="white-space: pre;">       </span><span style="white-space: pre;">    </span><span style="white-space: pre;">       </span><span style="white-space: pre;">  </span><span style="white-space: pre;">  </span><span style="white-space: pre;">  </span><span style="white-space: pre;">  </span><span style="white-space: pre;">  </span><span style="white-space: pre;">  </span><span style="white-space: pre;">  </span><span style="white-space: pre;">  </span><span style="white-space: pre;">  </span><SPAn class="keyword token">als</SPAn> <SPAn class="string token">"timestamp"</SPAn> <SPAn class="keyword token">in</SPAn> node<SPAn class="punctuation token">.</SPAn>keys<SPAn class="punctuation token">()</SPAn><SPAn class="punctuation token">:</SPAn>
                                             dictElement<SPAn class="punctuation token">[</SPAn><SPAn class="string token">"timestamp"</SPAn><SPAn class="punctuation token">]</SPAn> <SPAn class="operator token">=</SPAn> node<SPAn class="punctuation token">[</SPAn><SPAn class="string token">"timestamp"</SPAn><SPAn class="punctuation token">]</SPAn>
                                <SPAn class="keyword token">behalve</SPAn><SPAn class="punctuation token">:</SPAn>
                                     print<SPAn class="punctuation token">(</SPAn><SPAn class="string token">"Node voor dit element niet beschikbaar"</SPAn><SPAn class="punctuation token">)</SPAn>
                             dictElement<SPAn class="punctuation token">[</SPAn><SPAn class="string token">"attribute"</SPAn><SPAn class="punctuation token">]</SPAn> <SPAn class="operator token">=</SPAn> key_cat <SPAn class="operator token">+</SPAn> <SPAn class="string token">"-"</SPAn> <SPAn class="operator token">+</SPAn> val_cat
                             dictData<SPAn class="punctuation token">.</SPAn>append<SPAn class="punctuation token">(</SPAn>dictElement<SPAn class="punctuation token">)</SPAn>‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SpanS>AnGleS<<eMoJi_23>><<EmOjI_24>><<EmOjI_25>><<EmOjI_26>><<EmOjI_27>><<EmOjI_28>><<EmOjI_29>>

&nbsp;Deze gegevens worden nu gestructureerd in een dictionary, omgezet in een pandas DataFrame en teruggegeven voor verder gebruik. In een tweede <A href="https://github.com/EsriDE/EsriDE-python-osm2arcgis/blob/master/agolconfig.json" rel="nofollow noopener noreferrer" target="_blank">JSON-bestand</A>&nbsp;worden de configuraties voor ArcGIS Online of ArcGIS for Portal ingesteld.

<P style='text-align:center;'><IMG src='https://us.v-cdn.net/6038851/uploads/legacyfs/online/390887_pastedImage_3.png' alt='' style='width:auto;height:auto;' /></P>

Wanneer de benodigde gegevens aanwezig zijn, worden deze gecontroleerd op juistheid. Dit betekent dat er verbinding wordt gemaakt met behulp van de logingegevens. Dit is nodig om te garanderen dat de Feature Service ID correct is wanneer deze overschreven moet worden. Als de invoer volledig en correct is, wordt een ander <A href='https://github.com/EsriDE/EsriDE-python-osm2arcgis/blob/master/DataToAGO.py' rel='nofollow noopener noreferrer' target='_blank'>Python-script&nbsp;</A>gestart.&nbsp;Bij het bijwerken van een Feature Service wordt deze geleegd, wordt de DataFrame in blokken verdeeld en worden telkens 100 features toegevoegd aan de Feature Service.

listAddFeatures <Span Class='operator Token'>=</Span> <Span Class='Punctuation Token'>[</Span ><Span Class='Punctuation Token'>]</Span >
i <Span Class='Operator Token'>=</Span > 0
dataAvailable <Span Class='Operator Token'>=</Span > True
dataUploaded <Span Class='Operator Token'>=</Span > False
dataQuery <Span Class='Operator Token'>=</Span > fc_dataAdd.query()

<span style='white-space:pre;'>while dataAvailable:</span>
    modulo_i = i % 100
    if modulo_i == 0 and i != 0 and not dataUploaded:
        layer.edit_features(adds=listAddFeatures)
        listAddFeatures.clear()
        dataUploaded = True
        print(str(i) + " features van " + str(len(dataQuery)) + " toegevoegd.")
    else:
        try:
            listAddFeatures.append(dataQuery.features[i])
            i = i + 1
            dataUploaded = False
        except:
            dataAvailable = False

layer.edit_features(adds=listAddFeatures)
print("Alle " + str(len(dataQuery)) + " features toegevoegd.")‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍  class="line-numbers-rows"><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><\/SPAN><\/CODE><\/PRE><P><\/P><P style="text-align: justify;">Bij het aanmaken van een nieuwe Feature Service zijn er voor het uploaden van de gegevens nog extra stappen nodig, want er moet een lege Feature Service met de benodigde velden worden aangemaakt. Hiervoor maakt men een nieuw DataFrame aan, dat alleen de titelrij van het overgedragen bevat. Vervolgens wordt door alle aanwezige velden geïtereerd en worden de velden met het datatype "int64" toegevoegd aan een nieuwe lijst.<\/P><P style="text-align: justify;"><\/P><PRE class="lia-code-sample line-numbers language-none"><CODE>newField = {
    "name" : intFieldName, 
    "type" : "esriFieldTypeInteger",  
    "alias" : intFieldName, 
    "sqlType" : "sqlTypeBigInt", 
    "nullable" : True, 
    "editable" : True,
    "visible" : True
    }
   
token_URL = "{}\/sharing\/generateToken".format(portal)
token_params = {'username' : user,
      'password' : password,
      'client' : 'referer',
      'referer': portal,
      'expiration': 60,
      'f' : 'json'
      }

r = requests.post(token_URL,token_params)
       
token_obj = r.json()
       
token = token_obj['token']
expires = token_obj['expires']
       
tokenExpires = datetime.datetime.fromtimestamp(int(expires)\/1000)
       
featureLayerAdminUrl = layerURL.replace("\/rest\/", "\/rest\/admin\/")
       
params = {"f":"json", "token":token}
params["addToDefinition"] = json.dumps({"fields":[newField]})
       
layerUpdateUrl = "{}\/addToDefinition".format(featureLayerAdminUrl)
layerResult = requests.post(layerUpdateUrl, params)
‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍<SPAN class="line-numbers-rows"><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍<\/SPAN><SPAN>‍</span></span>

Deze stap is belangrijk, want bij het publiceren van een Feature Service via de ArcGIS API for Python worden Integer velden alleen als "int32" aangemaakt en bij hogere waarden treden fouten op. Nu wordt een Feature Service aangemaakt en worden de "int64" velden via een verzoek aan de Portal API toegevoegd, omdat op deze manier hogere Integerwaarden kunnen worden opgeslagen.<\/P>

for field in listBigInt:
      del dataframe_total_title[field]
      
fc = gis.content.import_data(dataframe_total_title)
  
item_properties_input = {
  "title": title,
  "tags" : tags,
  "description": description,
  "text": json.dumps({"featureCollection": {"layers": [dict(fc.layer)]}}),
  "type": "Feature Collection",
}

item = gis.content.add(item_properties_input)
new_item = item.publish()<

Nu is de service met alle benodigde attributen aangemaakt en kunnen de features in blokken, zoals bij de update, worden toegevoegd.<\/P>

Het resultaat is een

GitHub Repository, die de verschillende scripts bevat. Deze kunnen dus in de huidige staat of ook afzonderlijk worden gebruikt. Bovendien is het mogelijk om de processen aan te passen aan de eigen behoeften. Zo kan men het script ook uitbreiden met methoden om de gegevens niet als Feature Service, maar als Shape File of Geodatabase op te slaan.<\/P>

Met deze tool is het gelukt een brug te slaan tussen de rijke Open Streetmap databasis en het krachtige ArcGIS platform.<\/STRONG> <\/P>
<\/BODY>
<\/HTML>