Aktualizováno 8. listopadu 2021
Certifikace ArcGIS Desktop Entry je jednou z našich nejoblíbenějších zkoušek. Tým pro certifikaci často dostává otázky ohledně certifikace na vstupní úrovni — například jaké typy dovedností ArcGIS Desktop zkouška měří, jak je hodnocena a pro koho je tato certifikace určena?
Abychom osvětlili certifikaci ArcGIS Desktop Entry (a certifikační zkoušky obecně), mluvili jsme s jednou z osob úzce zapojených do vývoje zkoušky ArcGIS Desktop Entry. Lisa S. O’Leary, PhD, je psychometrička u Alpine Testing Solutions , která úzce spolupracuje s týmem pro certifikaci na vývoji, bezpečnosti a údržbě zkoušek. Vývoj zkoušky na vstupní úrovni zahrnoval mnoho lidí a mnoho úrovní revizí a analýz. Vyžaduje to hodně tvrdé práce, aby bylo zajištěno, že vytvoříme platné a spolehlivé měření dovedností kandidáta na certifikaci.
Setkali jsme se s O’Leary právě ve chvíli, kdy se chystala opustit své domovské město Chicago, aby se vdala. Její kvalifikace jsou působivé: má titul PhD v oblasti vzdělávacího výzkumu, měření a evaluace z Boston College. Pracovala na hodnocení a evaluaci vysokoškolského vzdělávání na MIT a konzultovala pro několik známých IT certifikačních programů, včetně Microsoftu, CompTIA a Cisco.
Na základě vašich zkušeností v oboru, jakou hodnotu přináší certifikace profesionálům?
O’Leary: „Záleží na hodnotě spojené s konkrétní certifikací. Tři hlavní přínosy jsou kariérní postup (a některé certifikace jsou kvalifikací pro konkrétní práci), uznání v oboru a uznání od kolegů.
Lisa S. O'Leary
„Uznání od kolegů — zejména ve světě IT certifikací — je hlavním přínosem pro kandidáty. Existují také některé programy, kde se certifikace používá pro další vzdělávání. Takže přínos tam je v tom, že certifikace může splnit jiné požadavky související s prací.“
Jak běžné jsou zkoušky na vstupní úrovni?
O’Leary: „Zkoušky na vstupní úrovni, někdy nazývané bránové zkoušky, jsou v IT běžné. Jsou branou pro lidi, kteří chtějí postoupit v řetězci úrovní zkoušek. Co se nyní v IT průmyslu liší, je přístup k vstupní úrovni.
„Některé mají základní zkoušku pokrývající všechny oblasti a jiné organizace mají specializované cesty (vstupní zkouška pro každou oblast).“
- Poznámka: Certifikace ArcGIS Desktop Entry je součástí cesty ArcGIS Desktop, která zahrnuje Associate- a Professional-level zkoušky.
Jsou při vývoji zkoušky na vstupní úrovni nějaká zvláštní hlediska?
O’Leary: „U jakékoli úrovně certifikace musíme vždy mít na paměti oblast zájmu a osobu zájmu v rámci této oblasti. Kontroluji, zda vyvíjíme položky na odpovídající úrovni kognitivní složitosti podle Bloomovy taxonomie podle toho, jak byla oblast a kandidát na vstupní úrovni definováni.
„Očekáváme, že kandidáti na vstupní úrovni budou schopni si vybavit a možná i porozumět a aplikovat znalosti, ale ne nutně analyzovat, hodnotit nebo vytvářet informace.“
Jaká je role psychometričky při vývoji zkoušky?O’Leary: „Moje role je být konzultantem a technickým zdrojem, na který se lze obrátit ohledně jakékoli struktury nebo plánování potřebného ve vývojovém procesu zkoušky, kterou budeme používat, a jakýchkoli problémů s měřením, na které narazíme.<\/DIV>
„V podstatě jsem kontaktní osobou pro vědu a technologii za vývojem konkrétní zkoušky. Je mou rolí zajistit — v každé části procesu, u každého výstupu — že vždy sbíráme důkazy o platnosti zkoušky.“
Jak sbíráte důkazy o platnosti zkoušky?
O’Leary: „Kontroluji, zda neustále máme na paměti účel a zamýšlené použití výsledků testu, což je jádro platnosti. Například provádíme podrobnou statistickou analýzu pomocí klasické teorie testů a teorie odpovědí na položky (Raschova analýza) k posouzení výkonu zkoušky vůči jejímu zamýšlenému účelu a definované obsahové oblasti.
„Existují dvě úrovně analýzy, na kterých neustále pracujeme: úroveň formuláře a úroveň položek.“
- Poznámka: Úroveň formuláře se vztahuje ke zkoušce jako celku. Certifikace má více formulářů používaných současně. Úroveň položek se vztahuje ke každé otázce.
Popište některé analýzy na úrovni položek, které provádíte.
O’Leary: „Pro analýzu položek sledujeme obtížnost položek pomocí p-hodnoty (poměr kandidátů, kteří správně odpověděli) a dalších měřicích ukazatelů.
„Také sledujeme korelaci mezi konkrétní položkou a celkovým skóre ze zkoušky. Dobře fungující položka bude mít vysokou pozitivní korelaci (pokud kandidáti správně odpoví na položku, pravděpodobně dosáhnou dobrého výsledku u celé zkoušky). Dále sledujeme, zda existují položky negativně ovlivňující pozitivní výkon kandidáta. Pokud ano, tyto položky jsou označeny k revizi, protože to naznačuje pravděpodobný problém s nimi.“
Založená je analýza na datech shromážděných během beta verze zkoušky?
O’Leary: „Ano, beta verze poskytují spoustu užitečných informací. Analyzujeme výkon kandidátů u každé položky i celkový výkon u beta formulářů k určení vhodných položek pro provozní (uvolněnou) verzi zkoušky.
„Časový limit u uvolněné zkoušky jako ArcGIS Desktop Entry bere v potaz čas strávený každým beta testujícím u každé položky. Časový limit zajistí, že 95 % všech kandidátů bude schopno dokončit provozní zkoušku v tomto čase při pohledu globálně přes celý spektrum kandidátů, kteří ji absolvovali.
„Také mají beta testující možnost komentovat každou jednotlivou položku. Jejich komentáře pomáhají při rozhodování o jednotlivých položkách.“
Popište některé analýzy na úrovni formuláře, které provádíte.
O’Leary: „Sledujeme spolehlivost každého formuláře: tedy pokud by osoba absolvovala Formulář A a pak ho absolvovala znovu, jaká je pravděpodobnost získání stejného skóre s ohledem na chybu měření? Hledáme celkovou spolehlivost formuláře 85 % nebo vyšší s variabilitou mezi formuláři 1 % nebo méně.
- Poznámka: Abychom podpořili argument platnosti zkoušky, musí být formuláře prokazatelně ekvivalentní. Jinými slovy nezáleží na tom, který formulář kandidát obdrží; každý měří stejné znalosti, dovednosti a schopnosti ve stejném poměru, na stejné obtížnostní úrovni, ve stejném čase se stejnou spolehlivostí.
„Sledujeme průměrný výkon formulářů. Jaký je průměrný počet bodů dosažených kandidáty u každého formuláře? Chceme mít tyto průměrné hodnoty do 0,2 desetinných míst od sebe pro považování formulářů za ekvivalentní.
„Sledujeme průměrný čas potřebný kandidáty k absolvování každého formuláře. Náš standardní parametr pro medián času je do 1 minuty mezi formuláři navzájem. Analyzujeme míru úspěchu pro všechny možné skóre (0–95) a analyzujeme čas kandidátů versus skóre ze zkoušky.
„Analýzu na úrovni formuláře jsme dokonce posunuli dále. U Esri certifikačních zkoušek jsou všechny analýzy běžně prováděné na úrovni formuláře nyní prováděny také na úrovni subdomény.“
- Poznámka: „Subdoména“ označuje jednu ze kategorií uvedených na záložce Skills Measured na webové stránce dané zkoušky.
Zajímavé, prosím rozveďte to více.
O’Leary: „Každá sekce u ArcGIS Desktop Entry exam je vyvážená a to nám umožňuje poskytovat opravdu skvělou diagnostiku zpětná vazba pro kandidáty. Můžeme poskytnout neúspěšným kandidátům empirické důkazy o oblastech, ve kterých dosáhli lepších a horších výsledků. Na jejich zprávách o skóre obdrží neúspěšní kandidáti celkové hodnocení složil/neprošel a také ekvivalenty složil/neprošel pro každou sekci."
Toto jsou užitečné informace pro kandidáty plánující opakování zkoušky. Poskytují všechny certifikační programy zprávy na úrovni sekcí?
O’Leary: „V IT certifikaci jsou žádosti o zprávy na úrovni sekcí velmi časté. Méně běžné je, že certifikační programy skutečně provádějí náležitou péči a vývoj zkoušky způsobem, který podporuje tuto úroveň reportování.
„Esri v tomto ohledu opravdu výrazně pokročila. Způsob, jakým je proces vývoje zkoušky používán, naprosto podporuje úroveň informací, které nyní poskytujeme."
Děkuji, Liso.
