Actualizado el 8 de noviembre de 2021
La certificación ArcGIS Desktop Entry es uno de nuestros exámenes más populares. El equipo de Certificación recibe con frecuencia preguntas sobre la certificación de nivel inicial—por ejemplo, qué tipos de habilidades de ArcGIS Desktop mide el examen, cómo se califica y para quién está diseñada esta certificación.
Para arrojar algo de luz sobre la certificación ArcGIS Desktop Entry (y los exámenes de certificación en general), hablamos con una de las personas estrechamente involucradas en el proceso de desarrollo del examen ArcGIS Desktop Entry. Lisa S. O’Leary, PhD, es una psicometrista con Alpine Testing Solutions que trabaja estrechamente con el equipo de Certificación en el desarrollo, seguridad y mantenimiento del examen. Desarrollar el examen de nivel inicial involucró a muchas personas y muchos niveles de revisión y análisis. Se requiere mucho trabajo duro para asegurar que creamos una medida válida y confiable de las habilidades del candidato a la certificación.
Nos pusimos al día con O’Leary justo cuando estaba a punto de salir de su base en Chicago para casarse. Sus credenciales son impresionantes: tiene un PhD en Investigación Educativa, Medición y Evaluación por Boston College. Trabajó en evaluación y medición en educación superior en MIT, y ha sido consultora para varios programas reconocidos de certificación IT, incluyendo los de Microsoft, CompTIA y Cisco.
Basado en su experiencia en la industria, ¿qué valor ofrece la certificación a los profesionales?
O’Leary: “Depende del valor asociado con una certificación particular. Los tres grandes beneficios son el avance laboral (y algunas certificaciones son un requisito para un trabajo específico), el reconocimiento en la industria y el reconocimiento entre pares.
Lisa S. O'Leary
El reconocimiento entre pares—particularmente en el mundo de la certificación IT—es un beneficio principal para los candidatos. También hay algunos programas donde la certificación se usa para educación continua. Así que el beneficio allí es que la certificación puede cumplir otros requisitos relacionados con el trabajo.”
¿Qué tan comunes son los exámenes de certificación de nivel inicial?
O’Leary: “Los exámenes de nivel inicial, a veces llamados exámenes puerta de entrada, son comunes en IT. Son una puerta para las personas que quieren avanzar en la cadena de niveles del examen. Lo que varía ahora en la industria IT es el enfoque hacia el nivel inicial.
“Algunos tienen un examen base que abarca todos los dominios, y hay otras organizaciones que tienen rutas (un examen de nivel inicial para cada dominio).”
- Nota: La certificación ArcGIS Desktop Entry-level es parte de la ruta ArcGIS Desktop, que incluye exámenes a nivel Asociado y Profesional.
¿Hay consideraciones especiales al desarrollar un examen de nivel inicial?
O’Leary: “Con cualquier nivel de certificación, siempre necesitamos tener en cuenta el dominio de interés y la persona dentro de ese dominio. Estoy revisando para asegurarme que estamos desarrollando ítems al nivel apropiado de complejidad cognitiva según la Taxonomía de Bloom para la forma en que se ha definido el dominio y el candidato a nivel inicial.
“Esperamos que los candidatos a nivel inicial puedan recordar y quizás entender y aplicar conocimientos, pero no necesariamente analizar, evaluar o crear información.”
¿Cuál es el rol de un psicometrista en el desarrollo del examen?
O’Leary: “Mi rol es ser un interlocutor y un recurso técnico al que recurrir para cualquier estructura o planificación que necesite incorporarse al proceso de desarrollo del examen que vamos a emplear y cualquier problema de medición que encontremos.
“Básicamente, soy la persona a quien acudir por la ciencia y tecnología detrás del desarrollo de un examen particular. Mi rol es asegurar—en cada parte del proceso, para cada entregable—que siempre estamos recolectando evidencia sobre la validez del examen.”
¿Cómo recolectan evidencia sobre la validez del examen?
O’Leary: “Reviso para asegurarme que constantemente tenemos presente el propósito y uso previsto de las puntuaciones del test, que es la esencia de la validez. Por ejemplo, realizamos análisis estadísticos profundos usando teoría clásica del test y teoría de respuesta al ítem (análisis Rasch) para evaluar el desempeño del examen contra su propósito previsto y dominio definido del contenido.
“Hay dos niveles de análisis en los que trabajamos constantemente: a nivel formulario y a nivel ítem.”
- Nota: A nivel formulario se refiere al examen como un todo. Una certificación tiene múltiples formularios usados todo el tiempo. A nivel ítem se refiere a cada pregunta.
Describa algunos análisis a nivel ítem que realiza.
O’Leary: “Para análisis a nivel ítem, examinamos la dificultad del ítem mediante el valor p (la proporción de candidatos que responden correctamente) y otros indicadores métricos.
“También analizamos la correlación entre un ítem particular y la puntuación total del examen. Un ítem bien desempeñado tendrá una alta correlación positiva (si los candidatos responden correctamente al ítem, probablemente les irá bien en el examen). Además, buscamos si hay ítems que impactan negativamente el desempeño positivo del candidato. Si es así, esos ítems se marcan para revisión porque indica que probablemente hay algo mal con ellos.”
¿El análisis se basa en datos recogidos del examen beta?
O’Leary: “Sí, los exámenes beta proporcionan mucha información útil. Analizamos el desempeño del candidato en cada ítem así como el desempeño general en las formas beta para determinar ítems viables para el examen operativo (publicado).
“El límite de tiempo para un examen publicado como ArcGIS Desktop Entry ha tomado en cuenta el tiempo que cada evaluador beta pasó en cada ítem. El límite asegura que el 95% de todos los candidatos puedan completar el examen operativo dentro ese tiempo, considerando globalmente todo el espectro de candidatos que han tomado el examen.
“Además, los evaluadores beta tienen la opción de comentar sobre cada ítem individualmente. Sus comentarios ayudan en la toma de decisiones sobre ítems individuales.”
Describa algunos análisis a nivel formulario que realiza.
O’Leary: “Miramos la confiabilidad de cada formulario: así si una persona toma Formulario A, luego vuelve a tomar Formulario A, ¿cuál es la probabilidad de recibir la misma puntuación dentro del error muestral? Buscamos confiabilidad general a nivel formulario del 85% o más, con una varianza entre formularios menor o igual al 1%.
- Nota: Para apoyar un argumento sobre validez del examen, los formularios deben ser demostrablemente equivalentes. En otras palabras, no importa qué formulario reciba un candidato ya que cada uno mide los mismos conocimientos, habilidades y destrezas en igual proporción, al mismo nivel dificultad, en igual tiempo y con igual confiabilidad.
“Observamos el rendimiento promedio en los formularios. ¿Cuál es la puntuación media que alcanzan los candidatos en cada formulario? Queremos esas medias dentro 0.2 decimales unas respecto a otras para considerar equivalentes los formularios.
“Analizamos también el tiempo promedio que tardan los candidatos en completar cada formulario. Nuestro parámetro estándar para tiempo mediano es que los formularios deben estar dentro 1 minuto entre sí. Analizamos las tasas aprobatorias para todas las puntuaciones posibles (0-95), y analizamos tiempo versus puntuación del candidato.”
“De hecho hemos llevado análisis a nivel formulario un paso más allá. Para los exámenes Esri certification exams, todos los análisis típicamente realizados a nivel formulario ahora se hacen también a nivel subdominio.”
- Nota: “Subdominio” se refiere a una categoría mostrada en la pestaña Skills Measured de la página web del examen.
Interesante, por favor explique más sobre eso.
O’Leary: retroalimentación para los candidatos. Podemos proporcionar a los candidatos que no aprueban evidencia empírica de las áreas en las que tuvieron un mejor y peor desempeño. En sus informes de puntuación, los candidatos que no aprueben recibirán un resultado general de aprobado/reprobado y también equivalentes de aprobado/reprobado para cada sección."
Esta es información útil para los candidatos que planean repetir el examen. ¿Todos los programas de certificación proporcionan informes a nivel de sección?
O’Leary: "En la certificación IT, las solicitudes para informes a nivel de sección son muy comunes. Es menos común que los programas de certificación realmente realicen la debida diligencia y el desarrollo del examen de una manera que respalde ese nivel de informes.
"Esri realmente ha avanzado firmemente con esto. La forma en que se emplea el proceso de desarrollo del examen apoya absolutamente el nivel de información que ahora estamos proporcionando."
Gracias, Lisa.
