2021年11月8日更新
ArcGIS Desktop Entry認定 は当社で最も人気のある試験の一つです。認定チームは、エントリーレベルの認定に関してよく質問を受けます。例えば、試験が測定するArcGIS Desktopのスキルの種類、採点方法、この認定が誰を対象としているかなどです。
ArcGIS Desktop Entry認定（および一般的な認定試験）について理解を深めるために、ArcGIS Desktop Entry試験の開発プロセスに密接に関わっている人物の一人に話を伺いました。Lisa S. O’Leary博士は、 Alpine Testing Solutions の心理計量学者であり、認定チームと密接に連携して試験の開発、セキュリティ、およびメンテナンスに取り組んでいます。エントリーレベル試験の開発には多くの人々と多段階のレビューや分析が関わっています。認定候補者のスキルを有効かつ信頼性のある方法で測定するためには、多大な努力が必要です。
私たちはO’Learyに、彼女がシカゴの拠点を離れて結婚式に向かう直前に話を聞きました。彼女の経歴は素晴らしく、ボストンカレッジで教育研究、測定、および評価の博士号を取得しています。MITで高等教育の評価と評価に携わり、Microsoft、CompTIA、Ciscoなど複数の著名なIT認定プログラムにもコンサルタントとして関わっています。
業界でのご経験から見て、認定は専門家にどんな価値を提供しますか？
O’Leary: 「それは特定の認定に関連付けられた価値によります。主な3つの利点は職務昇進（いくつかの認定は特定職務への資格条件となっています）、業界内での認知、および同僚からの認知です。
Lisa S. O'Leary
特にIT認定業界では同僚からの認知が候補者にとって主な利点です。また、一部プログラムでは継続教育として認定が利用されており、その場合は認定が他の職務関連要件を満たす役割を果たします。」
エントリーレベルの認定試験はどれくらい一般的ですか？
O’Leary: 「エントリーレベル試験は時にゲートウェイ試験とも呼ばれ、IT分野では一般的です。これらは上位レベル試験へ進むための入口となります。現在IT業界で異なるのはエントリーレベルへのアプローチです。
「一部には全ドメイン共通の基礎試験があり、他には各ドメインごとのトラック（エントリーレベル試験）が存在します。」
- 注記: ArcGIS Desktop Entry-level認定はArcGIS Desktopトラックの一部であり、AssociateおよびProfessionalレベル試験も含まれます。
エントリーレベル試験開発時に特別な考慮事項はありますか？
O’Leary: 「どんなレベルの認定でも、常に対象ドメインとその中で対象となる人物を念頭に置く必要があります。私は< A title="Wikipedia entry for Bloom's taxonomy" href="https://en.wikipedia.org/wiki/Bloom's_taxonomy" target="_blank" rel="noopener nofollow noreferrer">Bloom’s Taxonomy の適切な認知的複雑さレベルで問題を作成しているか確認しています。これはドメインとエントリーレベル候補者がどのように定義されているかによります。
「エントリーレベル候補者には知識を想起し理解し応用できることを期待していますが、必ずしも分析・評価・創造までは求めていません。」
心理計量学者は試験開発でどんな役割を担いますか？
O’Leary: 「私の役割は意見交換相手および技術的資源として機能し、採用する試験開発プロセスや遭遇する測定上の問題について支援することです。」
「基本的には特定試験開発背後にある科学技術について頼りにされる存在です。プロセス全体とすべての成果物で常に試験妥当性の証拠収集を確実にすることが私の役割です。」
試験妥当性の証拠はどのように収集しますか？
O’Leary: 「テストスコアの目的と意図された使用法を常に念頭に置いているか確認します。これが妥当性の核心です。例えば古典的テスト理論や項目反応理論（Rasch分析）など詳細な統計解析を行い、試験パフォーマンスが目的と内容ドメインに合致しているか評価します。
「解析にはフォームレベルと項目レベルという2つがあります。」
- 注記: フォームレベルとは試験全体を指し、複数フォームが常時使用されています。項目レベルとは各問題単位です。
項目レベル解析について教えてください。
O’Leary: 「項目レベル解析ではp値（正答率）などから問題難易度やその他測定指標を調べます。
また特定問題と総合得点との相関も見ています。良好な問題は高い正相関があります（正解した候補者は全体でも良い成績）。逆効果な問題があればフラグ付けし再検討します。」
ベータ版試験データによる分析ですか？
O’Leary: 「はい。ベータ版から多く有益な情報が得られます。各問題およびベータフォーム全体で候補者パフォーマンスを分析し、本番用問題選択に活用します。
ArcGIS Desktop Entryなど本番用試験時間制限はベータテスター各問題所要時間も考慮し設定しています。この制限時間内で95％以上候補者が完了可能となるよう調整しています。
またベータ受験者は各問題へのコメントも可能で、それらも個別問題判断材料になります。」
フォームレベル解析について教えてください。
O’Leary: 「各フォーム信頼性を調べます。同じ人が同じフォームAを2回受けた場合、誤差範囲内で同じスコアになる可能性を見るものです。信頼性85％以上、フォーム間差異1％以下を目標としています。
- 注記: 妥当性主張にはフォーム間同等性が必要です。つまりどのフォームでも同じ知識・技能・能力を同じ割合・難易度・時間・信頼性で測れることが重要です。
フォーム平均得点も比較し、それぞれ0.2小数点以内なら同等とみなします。
受験時間中央値も比較し1分以内差異なら許容範囲です。また合格率や得点別受験時間も分析します。
Esri認定ではさらに踏み込み、通常フォーム単位で行う解析をサブドメイン単位でも実施しています。」
- 注記: 「サブドメイン」とは試験ウェブページSkills Measuredタブに示されるカテゴリ群の一つです。
興味深いですね、その詳細を教えてください。
O’Leary: 「ArcGIS Desktop Entry試験内すべてのセクションがバランス良く構成されており、それによって非常に優れた診断的 候補者へのフィードバック。私たちは、不合格となった候補者に対して、どの分野でより良く、どの分野で劣っていたかという実証的な証拠を提供できます。不合格の候補者は、スコアレポートにおいて全体の合否だけでなく、各セクションごとの合否相当も受け取ります。"
これは再受験を計画している候補者にとって有用な情報です。すべての認定プログラムがセクションレベルの報告を提供していますか？
O’Leary: "IT認定において、セクションレベルの報告の要望は非常に一般的です。しかし、そのレベルの報告をサポートするために実際に適切な調査と試験開発を行う認定プログラムはそれほど多くありません。
Esriはこの点で非常に積極的に前進しています。試験開発プロセスの運用方法は、私たちが現在提供している情報レベルを完全にサポートしています。"
ありがとう、Lisa。
