Mise à jour le 8 novembre 2021
La certification ArcGIS Desktop Entry est l’un de nos examens les plus populaires. L’équipe de Certification reçoit fréquemment des questions concernant la certification de niveau d’entrée — par exemple, quels types de compétences ArcGIS Desktop l’examen mesure-t-il, comment est-il noté, et pour qui cette certification est-elle conçue ?
Pour éclaircir un peu la certification ArcGIS Desktop Entry (et les examens de certification en général), nous avons parlé avec une des personnes étroitement impliquées dans le processus de développement de l’examen ArcGIS Desktop Entry. Lisa S. O’Leary, PhD, est une psychométricienne chez Alpine Testing Solutions qui travaille en étroite collaboration avec l’équipe de Certification sur le développement, la sécurité et la maintenance des examens. Le développement de l’examen de niveau d’entrée a impliqué de nombreuses personnes et plusieurs niveaux de révision et d’analyse. Il faut beaucoup de travail acharné pour s’assurer que nous créons une mesure valide et fiable des compétences d’un candidat à la certification.
Nous avons rencontré O’Leary juste avant qu’elle ne quitte sa base à Chicago pour se marier. Ses qualifications sont impressionnantes : elle détient un doctorat en Recherche Éducative, Mesure et Évaluation du Boston College. Elle a travaillé sur l’évaluation dans l’enseignement supérieur au MIT, et a consulté pour plusieurs programmes bien connus de certification IT, y compris ceux de Microsoft, CompTIA et Cisco.
Selon votre expérience dans l’industrie, quelle valeur la certification offre-t-elle aux professionnels ?
O’Leary : « Cela dépend de la valeur associée à une certification particulière. Les trois grands avantages sont l’avancement professionnel (et certaines certifications sont une qualification pour un emploi particulier), la reconnaissance dans l’industrie, et la reconnaissance par les pairs.
Lisa S. O'Leary
La reconnaissance par les pairs — particulièrement dans le monde de la certification IT — est un avantage principal pour les candidats. Il existe aussi certains programmes où la certification est utilisée pour la formation continue. Donc l’avantage là est que la certification peut satisfaire d’autres exigences liées à l’emploi. »
À quel point les examens de certification de niveau d’entrée sont-ils courants ?
O’Leary : « Les examens de niveau d’entrée, que nous appelons parfois examens passerelle, sont courants en IT. Ils constituent une porte d’entrée pour les personnes qui veulent progresser dans la chaîne des niveaux d’examen. Ce qui varie maintenant dans l’industrie IT est l’approche du niveau d’entrée.
Certains ont un examen fondation qui couvre tous les domaines, et il y a d’autres organisations qui ont des parcours (un examen de niveau d’entrée pour chaque domaine). »
- Note : La certification ArcGIS Desktop Entry est partie intégrante du parcours ArcGIS Desktop, qui comprend des examens aux niveaux Associate et Professional.
Y a-t-il des considérations particulières lors du développement d’un examen de niveau d’entrée ?
O’Leary : « Pour tout niveau de certification, nous devons toujours garder à l’esprit le domaine d’intérêt et la personne concernée dans ce domaine. Je révise pour m’assurer que nous développons des items au niveau approprié de complexité cognitive selon la Taxonomie de Bloom pour la manière dont le domaine et le candidat de niveau d’entrée ont été définis.
Nous attendons des candidats de niveau d’entrée qu’ils soient capables de rappeler et peut-être comprendre et appliquer les connaissances, mais pas nécessairement analyser, évaluer ou créer des informations. »
Quel est le rôle d’un psychométricien dans le développement des examens ?
O’Leary : « Mon rôle est d’être un interlocuteur et une ressource technique à consulter pour toute structure ou planification nécessaire dans le processus de développement des examens que nous allons employer ainsi que pour tout problème de mesure rencontré.
En gros, je suis la personne ressource pour la science et la technologie derrière le développement d’un examen particulier. C’est mon rôle de m’assurer — à chaque étape du processus, pour chaque livrable — que nous recueillons toujours des preuves de validité de l’examen. »
Comment recueillez-vous des preuves de validité d’un examen ?
O’Leary : « Je vérifie que nous gardons constamment à l’esprit le but et l’utilisation prévue des scores du test, ce qui est au cœur de la validité. Par exemple, nous réalisons une analyse statistique approfondie utilisant la théorie classique des tests et la théorie des réponses aux items (analyse Rasch) pour évaluer la performance de l’examen par rapport à son but prévu et au domaine contenu défini.
Il y a deux niveaux d’analyse sur lesquels nous travaillons constamment : au niveau du formulaire et au niveau des items. »
- Note : Niveau formulaire fait référence à l’examen dans son ensemble. Une certification utilise plusieurs formulaires en même temps. Niveau item fait référence à chaque question.
Détaillez certaines analyses au niveau item que vous effectuez.
O’Leary : « Pour l’analyse au niveau item, nous examinons la difficulté des items via la valeur p (la proportion des candidats répondant correctement à l’item) ainsi que d’autres indicateurs de mesure.
Nous regardons aussi la corrélation entre un item particulier et le score total à l’examen. Un item performant aura une forte corrélation positive (si les candidats répondent correctement à cet item, ils ont tendance à bien réussir à l’examen). De plus, nous cherchons s’il y a des items qui impactent négativement la performance positive du candidat. Si c’est le cas, ces items sont signalés pour révision car cela indique probablement qu’il y a un problème avec eux. »
L’analyse est-elle basée sur les données collectées lors de l’examen bêta ?
O’Leary : « Oui, les examens bêta fournissent beaucoup d’informations utiles. Nous analysons la performance des candidats sur chaque item ainsi que leur performance globale sur les formulaires bêta afin de déterminer quels items sont viables pour l’examen opérationnel (publié).
La limite temporelle pour un examen publié comme ArcGIS Desktop Entry prend en compte le temps passé par chaque testeur bêta sur chaque item. La limite temporelle garantit que 95 % des candidats pourront terminer l’examen opérationnel dans ce délai, en regardant globalement tous les candidats ayant passé l’examen.
Aussi, les participants à l’examen bêta ont la possibilité de commenter chaque item individuellement. Leurs commentaires aident à prendre des décisions sur les items individuels.»
Détaillez certaines analyses au niveau formulaire que vous effectuez.
O’Leary : « Nous examinons la fiabilité de chaque formulaire : si une personne passait le Formulaire A puis le repassait, quelle serait la probabilité d’obtenir le même score, compte tenu de l’erreur de mesure ? Nous recherchons une fiabilité globale au niveau formulaire supérieure ou égale à 85 %, avec une variance inférieure ou égale à 1 % entre chaque formulaire.
- Note : Pour soutenir un argumentaire sur la validité d’un examen, les formulaires doivent être démontrablement équivalents. En d’autres termes, peu importe quel formulaire un candidat reçoit car chacun mesure les mêmes connaissances, compétences et aptitudes dans les mêmes proportions, au même niveau de difficulté, dans le même temps imparti, avec la même fiabilité.
Nous examinons aussi la performance moyenne des formulaires. Quel est le score moyen obtenu par les candidats sur chaque formulaire ? Nous voulons que ces moyennes soient proches à 0,2 décimales près pour considérer les formulaires équivalents.
Nous regardons également le temps moyen que mettent les candidats pour passer chaque formulaire. Notre paramètre standard pour le temps médian est que les formulaires doivent être dans une minute près les uns des autres. Nous analysons les taux de réussite pour tous les scores possibles (0-95), ainsi que le temps passé par rapport au score obtenu.
Nous avons même poussé plus loin l’analyse au niveau formulaire. Pour les examens Esri Certification, toutes les analyses habituellement faites au niveau formulaire sont désormais réalisées au niveau sous-domaine.
- Note : « Sous-domaine » fait référence à une des catégories affichées sur l’onglet Compétences Mesurées de la page web de l’examen.
C’est intéressant, pouvez-vous développer ?
O’Leary : « Chaque section de l’examen ArcGIS Desktop Entry est équilibrée, ce qui nous permet de fournir un diagnostic vraiment précis retour d'information aux candidats. Nous pouvons fournir aux candidats échoués des preuves empiriques des domaines dans lesquels ils ont mieux ou moins bien performé. Sur leurs rapports de score, les candidats échoués recevront un résultat global de réussite-échec ainsi que des équivalents réussite-échec pour chaque section."
Ces informations sont utiles pour les candidats qui prévoient de repasser l'examen. Tous les programmes de certification fournissent-ils un rapport au niveau des sections ?
O’Leary : "Dans la certification IT, les demandes de rapports au niveau des sections sont très courantes. Il est moins courant que les programmes de certification effectuent réellement la diligence requise et le développement de l'examen d'une manière qui soutient ce niveau de rapport.
"Esri a vraiment progressé fortement à ce sujet. La manière dont le processus de développement de l'examen est employé soutient absolument le niveau d'information que nous fournissons désormais."
Merci, Lisa.
