Aktualisiert am 8. November 2021
Die ArcGIS Desktop Entry Zertifizierung ist eine unserer beliebtesten Prüfungen. Das Certification Team erhält häufig Fragen zur Einstiegszertifizierung – zum Beispiel, welche Arten von ArcGIS Desktop Fähigkeiten die Prüfung misst, wie sie bewertet wird und für wen diese Zertifizierung gedacht ist?
Um etwas Licht auf die ArcGIS Desktop Entry Zertifizierung (und Zertifizierungsprüfungen im Allgemeinen) zu werfen, haben wir mit einer der Personen gesprochen, die eng in den Entwicklungsprozess der ArcGIS Desktop Entry Prüfung eingebunden sind. Lisa S. O’Leary, PhD, ist Psychometrikerin bei Alpine Testing Solutions und arbeitet eng mit dem Certification Team an der Prüfungsentwicklung, Sicherheit und Wartung zusammen. Die Entwicklung der Einstiegsprüfung involvierte viele Personen und viele Ebenen der Überprüfung und Analyse. Es erfordert viel harte Arbeit, um sicherzustellen, dass wir ein gültiges und zuverlässiges Maß für die Fähigkeiten eines Zertifizierungskandidaten schaffen.
Wir haben O’Leary kurz getroffen, als sie gerade dabei war, ihre Heimatbasis Chicago zu verlassen, um zu heiraten. Ihre Qualifikationen sind beeindruckend: Sie hat einen PhD in Educational Research, Measurement, and Evaluation von der Boston College. Sie arbeitete an der Bewertung und Evaluation im Hochschulbereich am MIT und hat für mehrere bekannte IT-Zertifizierungsprogramme beraten, darunter Microsoft, CompTIA und Cisco.
Basierend auf Ihrer Erfahrung in der Branche, welchen Wert bietet eine Zertifizierung Fachleuten?
O’Leary: „Es hängt vom Wert ab, der mit einer bestimmten Zertifizierung verbunden ist. Die drei großen Vorteile sind beruflicher Aufstieg (und einige Zertifizierungen sind eine Qualifikation für einen bestimmten Job), Anerkennung in der Branche und Anerkennung durch Kollegen.
Lisa S. O'Leary
„Die Anerkennung durch Kollegen – besonders in der IT-Zertifizierungswelt – ist ein Hauptvorteil für Kandidaten. Es gibt auch einige Programme, bei denen die Zertifizierung für die Weiterbildung genutzt wird. Der Vorteil dort ist also, dass die Zertifizierung andere arbeitsbezogene Anforderungen erfüllen kann.“
Wie verbreitet sind Einstiegszertifizierungsprüfungen?
O’Leary: „Einstiegsprüfungen, die wir manchmal Gateway-Prüfungen nennen, sind in der IT üblich. Sie sind ein Tor für Personen, die auf der Prüfungsebene aufsteigen wollen. Was sich jetzt in der IT-Branche unterscheidet, ist der Ansatz zum Einstiegslevel.
„Manche haben eine Foundation-Prüfung, die alle Bereiche abdeckt, und es gibt andere Organisationen mit Tracks (eine Einstiegsprüfung für jeden Bereich).“
- Hinweis: Die ArcGIS Desktop Entry-Level Zertifizierung ist Teil des ArcGIS Desktop Tracks, der Associate- und Professional-Level Prüfungen umfasst.
Gibt es besondere Überlegungen bei der Entwicklung einer Einstiegsprüfung?
O’Leary: „Bei jeder Zertifizierungsstufe müssen wir immer den Interessensbereich und die Person innerhalb dieses Bereichs im Auge behalten. Ich überprüfe, ob wir Items auf dem angemessenen kognitiven Komplexitätsniveau gemäß Blooms Taxonomie entwickeln, entsprechend der Definition des Bereichs und des Einstiegslevels des Kandidaten.
„Wir erwarten von Einstiegs-Kandidaten, dass sie Wissen abrufen können und vielleicht verstehen und anwenden können, aber nicht unbedingt analysieren, bewerten oder Informationen erstellen.“
Welche Rolle spielt ein Psychometriker bei der Prüfungsentwicklung?O’Leary: „Meine Rolle ist es, als Sparringspartner und technische Ressource zur Verfügung zu stehen für jede Struktur oder Planung im Prüfungsentwicklungsprozess sowie für alle Messprobleme, auf die wir stoßen.<\/DIV>
„Grundsätzlich bin ich die Anlaufstelle für Wissenschaft und Technik hinter der Entwicklung einer bestimmten Prüfung. Es ist meine Aufgabe sicherzustellen – in jedem Teil des Prozesses, für jedes Ergebnis –, dass wir stets Belege für die Validität der Prüfung sammeln.“
Wie sammeln Sie Belege für die Validität einer Prüfung?
O’Leary: „Ich überprüfe ständig den Zweck und die beabsichtigte Verwendung der Testergebnisse im Blick zu behalten – das ist das Kernstück von Validität. Zum Beispiel führen wir tiefgehende statistische Analysen durch unter Verwendung klassischer Testtheorie und Item-Response-Theorie (Rasch Analyse) um die Prüfungsleistung im Vergleich zum beabsichtigten Zweck und definierten Inhaltsbereich zu bewerten.
„Wir arbeiten ständig auf zwei Analyseebenen: Form-Ebene und Item-Ebene.“
- Hinweis: Form-Ebene bezieht sich auf die gesamte Prüfung. Eine Zertifizierung hat mehrere Formen gleichzeitig im Einsatz. Item-Ebene bezieht sich auf jede einzelne Frage.
Beschreiben Sie einige Analysen auf Item-Ebene.
O’Leary: „Bei der Item-Ebenen-Analyse betrachten wir die Item-Schwierigkeit anhand des p-Werts (dem Anteil der Kandidaten, die das Item richtig beantworten) sowie weitere Messindikatoren.
„Wir betrachten auch die Korrelation zwischen einem bestimmten Item und dem Gesamtergebnis der Prüfung. Ein gut funktionierendes Item weist eine hohe positive Korrelation auf (wenn Kandidaten das Item richtig beantworten, schneiden sie wahrscheinlich gut bei der Prüfung ab). Außerdem prüfen wir, ob es Items gibt, die die positive Leistung eines Kandidaten negativ beeinflussen. Falls ja, werden diese Items zur Überprüfung markiert, da dies darauf hindeutet, dass wahrscheinlich etwas mit ihnen nicht stimmt.“
Basiert die Analyse auf Daten aus der Beta-Prüfung?
O’Leary: „Ja, Beta-Prüfungen liefern viele nützliche Informationen. Wir analysieren die Leistung der Kandidaten bei jedem Item sowie die Gesamtleistung bei den Beta-Formen um geeignete Items für die operative (freigegebene) Prüfung zu bestimmen.
„Das Zeitlimit für eine freigegebene Prüfung wie ArcGIS Desktop Entry berücksichtigt die Zeit, die jeder Beta-Tester pro Item benötigt hat. Das Zeitlimit stellt sicher, dass 95 % aller Kandidaten in der Lage wären, die operative Prüfung innerhalb dieser Zeit abzuschließen – global betrachtet über das gesamte Spektrum an Kandidaten, die die Prüfung abgelegt haben.
„Außerdem haben Beta-Prüfungsteilnehmer die Möglichkeit zu jedem einzelnen Item Kommentare abzugeben. Diese Kommentare helfen bei Entscheidungen zu einzelnen Items.“
Beschreiben Sie einige Analysen auf Form-Ebene.
O’Leary: „Wir betrachten die Zuverlässigkeit jeder Form: Wenn eine Person Form A nimmt und dann Form A erneut nimmt – wie wahrscheinlich ist es dann, dieselbe Punktzahl innerhalb des Messfehlers zu erhalten? Wir streben eine Gesamtzuverlässigkeit auf Form-Ebene von 85 % oder höher an mit einer Varianz von 1 % oder weniger zwischen den Formen.
- Hinweis: Um das Validitätsargument einer Prüfung zu unterstützen müssen die Formen nachweislich äquivalent sein. Mit anderen Worten: Es spielt keine Rolle welche Form ein Kandidat erhält – jede misst dieselben Kenntnisse, Fähigkeiten und Fertigkeiten im gleichen Verhältnis, auf dem gleichen Schwierigkeitsgrad, in derselben Zeit mit derselben Zuverlässigkeit.
„Wir betrachten den durchschnittlichen Leistungswert der Formen. Wie hoch ist das durchschnittliche Ergebnis der Kandidaten bei jeder Form? Wir möchten diese Mittelwerte innerhalb von 0,2 Dezimalstellen zueinander sehen um die Formen als äquivalent anzusehen.“
„Wir betrachten auch die durchschnittliche Zeit für Kandidaten zur Bearbeitung jeder Form. Unser Standardparameter für Medianzeit ist, dass sich die Formen innerhalb von 1 Minute zueinander befinden sollten. Wir analysieren außerdem Bestehensraten für alle möglichen Punktzahlen (0–95) sowie Kandidatenzeit versus Prüfungsergebnis.“
„Wir sind tatsächlich noch einen Schritt weiter gegangen bei der Form-Ebenen-Analyse. Für Esri Zertifizierungsprüfungen werden alle typischerweise auf Form-Ebene durchgeführten Analysen jetzt auch auf Subdomain-Ebene durchgeführt.“
- Hinweis: „Subdomain“ bezieht sich auf eine der Kategorien auf dem Skills Measured Tab der Prüfungswebseite.
Interessant, bitte erläutern Sie das näher.
O’Leary: „Jeder Abschnitt in der ArcGIS Desktop Entry Prüfung ist ausgewogen gestaltet und das ermöglicht uns wirklich gute Diagnosen zu geben Feedback an Kandidaten. Wir können durchgefallenen Kandidaten empirische Belege für Bereiche liefern, in denen sie besser oder schlechter abgeschnitten haben. In ihren Ergebnisberichten erhalten durchgefallene Kandidaten eine Gesamtbestehens-/Nichtbestehensbewertung sowie entsprechende Bewertungen für jeden Abschnitt.
Dies sind n52tzliche Informationen f5cr Kandidaten, die eine Pr5cfcung erneut ablegen m56chten. Bieten alle Zertifizierungsprogramme Berichte auf Abschnittsebene an?
O0Leary:
Im IT-Zertifizierungsbereich sind Anfragen f5cr Berichte auf Abschnittsebene sehr h54ufig. Es ist weniger h54ufig, dass Zertifizierungsprogramme tats5cchlich die gebotene Sorgfalt walten lassen und die Pr5cfcungsentwicklung so gestalten, dass diese Art von Berichterstattung unterst5ctzt wird.
Esri hat hier wirklich gro5fe Fortschritte gemacht. Die Art und Weise, wie der Pr5cfcungsentwicklungsprozess angewendet wird, unterst5ctzt absolut das Informationsniveau, das wir jetzt bereitstellen.
Danke, Lisa.
---
- Interessieren Sie sich f5cr die ArcGIS Desktop Entry-Zertifizierung? Sehen Sie sich die detaillierten Qualifikationen, gemessenen F5cigkeiten und Vorbereitungsmaterialien an.
- Um mehr 5fcber andere Esri technische Zertifizierungen zu erfahren, besuchen Sie esri.com/certification.
