Bijgewerkt op 8 november 2021
De ArcGIS Desktop Entry certificering is een van onze populairste examens. Het Certificeringsteam krijgt vaak vragen over de instapcertificering—bijvoorbeeld, welke soorten ArcGIS Desktop vaardigheden meet het examen, hoe wordt het gescoord, en voor wie is deze certificering bedoeld?
Om wat licht te werpen op de ArcGIS Desktop Entry certificering (en certificeringsexamens in het algemeen), spraken we met een van de mensen die nauw betrokken zijn bij het ontwikkelingsproces van het ArcGIS Desktop Entry examen. Lisa S. O’Leary, PhD, is een psychometricus bij Alpine Testing Solutions die nauw samenwerkt met het Certificeringsteam aan examenontwikkeling, beveiliging en onderhoud. Het ontwikkelen van het instapniveau-examen betrof veel mensen en vele niveaus van beoordeling en analyse. Het kost veel hard werk om ervoor te zorgen dat we een valide en betrouwbare maatstaf creëren voor de vaardigheden van een certificeringskandidaat.
We spraken O’Leary net toen ze op het punt stond haar thuisbasis Chicago te verlaten om te gaan trouwen. Haar kwalificaties zijn indrukwekkend: ze heeft een PhD in Onderwijsonderzoek, Meting en Evaluatie van Boston College. Ze werkte aan hoger onderwijs beoordeling en evaluatie bij MIT, en heeft geadviseerd voor verschillende bekende IT-certificeringsprogramma’s, waaronder die van Microsoft, CompTIA en Cisco.
Op basis van uw ervaring in de industrie, welke waarde biedt certificering aan professionals?
O’Leary: "Het hangt af van de waarde die aan een bepaalde certificering wordt toegekend. De drie grote voordelen zijn loopbaanontwikkeling (en sommige certificeringen zijn een kwalificatie voor een bepaalde baan), erkenning binnen de industrie, en erkenning door collega’s.
Lisa S. O'Leary
Erkenning door collega’s—vooral in de IT-certificeringswereld—is een belangrijk voordeel voor kandidaten. Er zijn ook programma’s waarbij certificering wordt gebruikt voor permanente educatie. Dus het voordeel daar is dat certificering kan voldoen aan andere baan-gerelateerde vereisten."
Hoe gebruikelijk zijn instapniveau-certificeringsexamens?
O’Leary: "Instapniveau-examens, soms gateway-examens genoemd, zijn gebruikelijk in IT. Ze vormen een toegangspoort voor mensen die hogerop willen komen in de examenniveaus. Wat nu varieert in de IT-industrie is de benadering van het instapniveau.
“Sommigen hebben een fundamenteel examen dat alle domeinen overspant, en er zijn andere organisaties die sporen hebben (een instapniveau-examen voor elk domein).”
- Opmerking: De ArcGIS Desktop Entry-level certificering maakt deel uit van het ArcGIS Desktop spoor, dat Associate- en Professional-niveau examens omvat.
Zijn er speciale overwegingen bij het ontwikkelen van een instapniveau-examen?
O’Leary: “Bij elk niveau van certificering moeten we altijd rekening houden met het interessegebied en de persoon binnen dat domein. Ik controleer om ervoor te zorgen dat we items ontwikkelen op het juiste niveau van cognitieve complexiteit volgens Bloom’s Taxonomy voor de manier waarop het domein en de instapniveau-kandidaat zijn gedefinieerd.
“We verwachten dat instapniveau-kandidaten kennis kunnen herinneren en misschien begrijpen en toepassen, maar niet noodzakelijk analyseren, evalueren of creëren.”
Wat is de rol van een psychometricus bij examenontwikkeling?
O’Leary: “Mijn rol is om als klankbord en technische bron te dienen waar men op kan terugvallen voor elke structuur of planning die nodig is in het examenontwikkelingsproces dat we gaan gebruiken en voor eventuele meetproblemen die we tegenkomen.
“In wezen ben ik het aanspreekpunt voor de wetenschap en technologie achter de ontwikkeling van een bepaald examen. Het is mijn taak om ervoor te zorgen—bij elk onderdeel van het proces, voor elke oplevering—dat we altijd bewijs verzamelen van de validiteit van het examen.”
Hoe verzamelt u bewijs voor de validiteit van een examen?
O’Leary: “Ik controleer om ervoor te zorgen dat we voortdurend rekening houden met het doel en het beoogde gebruik van de testscores, wat de kern is van validiteit. Bijvoorbeeld, we voeren diepgaande statistische analyses uit met behulp van klassieke testtheorie en item-responstheorie (Rasch analyse) om de prestaties op het examen te beoordelen ten opzichte van het beoogde doel en gedefinieerde inhoudsdomein.
“Er zijn twee analysemethoden waar we voortdurend aan werken: op formulierniveau en op itemniveau.”
- Opmerking: Formulierniveau verwijst naar het examen als geheel. Een certificering heeft meerdere formulieren die tegelijkertijd worden gebruikt. Itemniveau verwijst naar elke vraag afzonderlijk.
Beschrijf enkele analyses op itemniveau die u uitvoert.
O’Leary: “Voor itemniveau-analyse kijken we naar itemmoeilijkheid via de p-waarde (het aandeel kandidaten dat het item correct beantwoordt) en andere meetindicatoren.
“We bekijken ook de correlatie tussen een bepaald item en de totaalscore op het examen. Een goed presterend item zal een hoge positieve correlatie hebben (als kandidaten het item correct beantwoorden, zullen ze waarschijnlijk goed scoren op het examen). Daarnaast kijken we of er items zijn die een negatieve invloed hebben op de positieve prestaties van een kandidaat. Zo ja, dan worden die items gemarkeerd voor herziening omdat dit aangeeft dat er waarschijnlijk iets mis mee is.”
Is de analyse gebaseerd op gegevens verzameld tijdens het bètatestexamen?
O’Leary: “Ja, bètatests leveren veel nuttige informatie op. We analyseren de prestaties van kandidaten op elk item evenals de algehele prestaties op de bètavormen om geschikte items te bepalen voor het operationele (uitgebrachte) examen.
“De tijdslimiet voor een uitgebracht examen zoals ArcGIS Desktop Entry houdt rekening met de tijd die elke bètatester aan elk item besteedde. De tijdslimiet zorgt ervoor dat 95% van alle kandidaten in staat zou zijn om het operationele examen binnen die tijd af te ronden, globaal gezien over het hele spectrum aan kandidaten die het examen hebben afgelegd.
“Ook hebben bètatestdeelnemers de mogelijkheid om commentaar te geven op elk afzonderlijk item. Hun opmerkingen helpen bij besluitvorming over individuele items.”
Beschrijf enkele analyses op formulierniveau die u uitvoert.
O’Leary: “We kijken naar de betrouwbaarheid van elk formulier: zodat als iemand Formulier A aflegt en daarna opnieuw Formulier A aflegt, wat is dan de kans dat hij dezelfde score krijgt binnen meetfout? We streven naar een algehele betrouwbaarheid op formulierniveau van 85% of hoger, met 1% of minder variatie tussen formulieren.
- Opmerking: Om een geldige geldigheidsargumentatie voor een examen te ondersteunen moeten formulieren aantoonbaar equivalent zijn. Met andere woorden, het maakt niet uit welk formulier een kandidaat ontvangt omdat elk dezelfde kennis, vaardigheden en capaciteiten meet in dezelfde verhouding, op hetzelfde moeilijkheidsniveau, binnen dezelfde tijdsduur, met dezelfde betrouwbaarheid.
“We bekijken ook de gemiddelde prestaties per formulier. Wat is de gemiddelde score die kandidaten behalen op elk formulier? We willen dat deze gemiddelden binnen 0,2 decimale punten van elkaar liggen om formulieren als equivalent te beschouwen.”
“We bekijken ook de gemiddelde tijd die kandidaten nodig hebben om elk formulier af te leggen. Onze standaardparameter voor mediane tijd is dat formulieren binnen 1 minuut van elkaar moeten liggen. We analyseren ook slagingspercentages voor alle mogelijke scores (0-95), en we analyseren kandidaat-tijd versus examencijfer.”
“We hebben formulierniveau-analyse zelfs nog verder uitgebreid. Voor Esri-certificeringsexamens worden alle analyses die normaal gesproken op formulierniveau worden uitgevoerd nu ook gedaan op subdomeinniveau.”
- Opmerking: “Subdomein” verwijst naar één van de categorieën weergegeven op het Taken gemeten tabblad van de webpagina van het examen.
Interessant, kunt u daar meer over vertellen?
O’Leary: feedback aan kandidaten. We kunnen kandidaten die niet geslaagd zijn voorzien van empirisch bewijs van de gebieden waarin ze beter en slechter presteerden. Op hun scorerapporten krijgen niet-geslaagde kandidaten een algemene geslaagd/niet-geslaagd beoordeling en ook geslaagd/niet-geslaagd equivalenten voor elke sectie.
Dit is nuttige informatie voor kandidaten die een examen opnieuw willen afleggen. Bieden alle certificeringsprogramma's rapportage op sectieniveau?
O'Leary:
"In IT-certificering zijn verzoeken om rapportage op sectieniveau heel gebruikelijk. Het is minder gebruikelijk dat certificeringsprogramma's daadwerkelijk de nodige zorgvuldigheid betrachten en het examen ontwikkelen op een manier die dat niveau van rapportage ondersteunt.
Esri heeft hier echt sterke vooruitgang in geboekt. De manier waarop het examenontwikkelingsproces wordt toegepast, ondersteunt absoluut het niveau van informatie dat we nu verstrekken."
Bedankt, Lisa.
