Atualizado em 8 de novembro de 2021
A certificação ArcGIS Desktop Entry é um dos nossos exames mais populares. A equipe de Certificação frequentemente recebe perguntas sobre a certificação de nível inicial — por exemplo, quais tipos de habilidades do ArcGIS Desktop o exame mede, como é pontuado e para quem essa certificação é destinada?
Para esclarecer um pouco sobre a certificação ArcGIS Desktop Entry (e exames de certificação em geral), conversamos com uma das pessoas diretamente envolvidas no processo de desenvolvimento do exame ArcGIS Desktop Entry. Lisa S. O’Leary, PhD, é uma psicometrista com Alpine Testing Solutions que trabalha em estreita colaboração com a equipe de Certificação no desenvolvimento, segurança e manutenção dos exames. Desenvolver o exame de nível inicial envolveu muitas pessoas e muitos níveis de revisão e análise. É necessário muito trabalho árduo para garantir que criemos uma medida válida e confiável das habilidades do candidato à certificação.
Conversamos com O’Leary justamente quando ela estava prestes a deixar sua base em Chicago para se casar. Suas credenciais são impressionantes: ela possui um PhD em Pesquisa Educacional, Medição e Avaliação pelo Boston College. Trabalhou na avaliação e mensuração do ensino superior no MIT e já atuou como consultora para vários programas de certificação de TI bem conhecidos, incluindo os da Microsoft, CompTIA e Cisco.
Com base na sua experiência na indústria, qual valor a certificação oferece aos profissionais?
O’Leary: “Depende do valor associado a uma certificação específica. Os três grandes benefícios são avanço na carreira (e algumas certificações são qualificações para um determinado emprego), reconhecimento na indústria e reconhecimento pelos pares.
Lisa S. O'Leary
“O reconhecimento pelos pares — particularmente no mundo da certificação de TI — é um benefício principal para os candidatos. Também existem alguns programas onde a certificação é usada para educação continuada. Então o benefício aí é que a certificação pode cumprir outros requisitos relacionados ao trabalho.”
Quão comuns são os exames de certificação de nível inicial?
O’Leary: “Exames de nível inicial, às vezes chamados de exames gateway, são comuns em TI. Eles são uma porta de entrada para pessoas que querem subir na cadeia dos níveis dos exames. O que varia agora na indústria de TI é a abordagem ao nível inicial.
“Alguns têm um exame fundamental que abrange todos os domínios, e há outras organizações que têm trilhas (um exame de nível inicial para cada domínio).”
- Nota: A certificação ArcGIS Desktop Entry-level faz parte da trilha ArcGIS Desktop, que inclui exames nos níveis Associate e Professional.
Existem considerações especiais ao desenvolver um exame de nível inicial?
O’Leary: “Com qualquer nível de certificação, sempre precisamos ter em mente o domínio de interesse e a pessoa de interesse dentro desse domínio. Estou revisando para garantir que estamos desenvolvendo itens no nível apropriado de complexidade cognitiva segundo Taxonomia de Bloom para a forma como o domínio e o candidato de nível inicial foram definidos.
“Esperamos que candidatos de nível inicial sejam capazes de recordar e talvez entender e aplicar conhecimento, mas não necessariamente analisar, avaliar ou criar informações.”
Qual é o papel do psicometrista no desenvolvimento do exame?
O’Leary: “Meu papel é ser um ponto de consulta e um recurso técnico para qualquer estrutura ou planejamento que precise ser incorporado ao processo de desenvolvimento do exame que vamos empregar e quaisquer questões de medição que encontrarmos.
“Basicamente, sou o contato para a ciência e tecnologia por trás do desenvolvimento de um exame específico. É meu papel garantir — em cada etapa do processo, para cada entrega — que estamos sempre coletando evidências da validade do exame.”
Como você coleta evidências da validade do exame?
O’Leary: “Eu reviso para garantir que estamos constantemente mantendo em mente o propósito e uso pretendido das pontuações do teste, que é o cerne da validade. Por exemplo, realizamos análises estatísticas aprofundadas usando teoria clássica dos testes e teoria da resposta ao item (análise Rasch) para avaliar o desempenho do exame em relação ao seu propósito pretendido e domínio definido do conteúdo.
“Existem dois níveis de análise nos quais trabalhamos constantemente: nível da forma e nível do item.”
- Nota: Nível da forma refere-se ao exame como um todo. Uma certificação tem múltiplas formas em uso o tempo todo. Nível do item refere-se a cada questão.
Descreva algumas das análises ao nível do item que você realiza.
O’Leary: “Para análise ao nível do item, examinamos a dificuldade do item através do valor-p (a proporção dos candidatos que respondem corretamente ao item) e outros indicadores de medição.
“Também analisamos a correlação entre um item específico e a pontuação total no exame. Um item com bom desempenho terá uma alta correlação positiva (se os candidatos respondem corretamente ao item, provavelmente terão bom desempenho no exame). Além disso, verificamos se existem itens que impactam negativamente o desempenho positivo do candidato. Se houver, esses itens são sinalizados para revisão porque indicam que provavelmente há algo errado com eles.”
A análise é baseada nos dados coletados do exame beta?
O’Leary: “Sim, os exames beta fornecem muitas informações úteis. Analisamos o desempenho dos candidatos em cada item assim como o desempenho geral nas formas beta para determinar itens viáveis para o exame operacional (liberado).
“O limite de tempo para um exame liberado como o ArcGIS Desktop Entry levou em consideração o tempo que cada testador beta gastou em cada item. O limite garante que 95% dos candidatos conseguiriam completar o exame operacional dentro desse tempo, considerando globalmente todo o espectro dos candidatos que fizeram o exame.
“Além disso, os participantes do exame beta têm a opção de comentar sobre cada item individualmente. Seus comentários ajudam na tomada de decisão sobre itens específicos.”
Descreva algumas das análises ao nível da forma que você realiza.
O’Leary: “Analisamos a confiabilidade de cada forma: assim, se uma pessoa fizer a Forma A e depois refizer a Forma A, qual é a probabilidade dela receber a mesma pontuação, dentro do erro de medição? Buscamos confiabilidade geral ao nível da forma igual ou superior a 85%, com variação entre as formas inferior ou igual a 1%.
- Nota: Para apoiar o argumento da validade do exame, as formas devem ser demonstravelmente equivalentes. Em outras palavras, não importa qual forma um candidato receba pois todas medem os mesmos conhecimentos, habilidades e competências na mesma proporção, no mesmo nível de dificuldade, no mesmo tempo e com a mesma confiabilidade.
“Analisamos o desempenho médio das formas. Qual é a pontuação média que os candidatos estão alcançando em cada forma? Queremos essas médias dentro de 0,2 casas decimais umas das outras para considerar as formas equivalentes.
“Também analisamos o tempo médio que os candidatos levam para fazer cada uma das formas. Nosso parâmetro padrão para tempo mediano é que as formas devem estar dentro de 1 minuto umas das outras. Analisamos as taxas de aprovação para todas as pontuações possíveis (0-95) e também analisamos o tempo dos candidatos versus pontuação no exame.
“Na verdade levamos a análise ao nível da forma um passo adiante. Para os exames de certificação Esri, todas as análises normalmente realizadas ao nível da forma agora estão sendo feitas ao nível do subdomínio.”
- Nota: “Subdomínio” refere-se a uma das categorias mostradas na guia Skills Measured da página web do exame.
Interessante, por favor elabore sobre isso.
O’Leary: “Cada seção no exame ArcGIS Desktop Entry é equilibrada, e isso nos permite fornecer diagnósticos realmente excelentes feedback para candidatos. Podemos fornecer aos candidatos reprovados evidências empíricas das áreas em que tiveram melhor e pior desempenho. Em seus relatórios de pontuação, os candidatos reprovados receberão um resultado geral de aprovado-reprovado e também equivalentes de aprovado-reprovado para cada seção."
Esta é uma informação útil para candidatos que planejam refazer o exame. Todos os programas de certificação fornecem relatórios por seção?
O’Leary: "Na certificação de TI, solicitações para relatórios por seção são muito comuns. É menos comum que os programas de certificação realmente realizem a diligência necessária e o desenvolvimento do exame de uma forma que suporte esse nível de relatório.
"A Esri realmente avançou fortemente com isso. A forma como o processo de desenvolvimento do exame está sendo empregado apoia absolutamente o nível de informação que agora estamos fornecendo."
Obrigado, Lisa.
