言語テストの基礎｜妥当性・信頼性とは？大学の英語試験の作り方

01試験の目的をはっきりさせる

テスト作りで最初にすべきことは、この試験の結果を何に使うのかを明確にすることです。目的によって、試験の設計は大きく変わります。

• プレイスメントテスト：学生をレベル別のクラスに分けるため
• 到達度テスト（期末試験など）：授業で扱った内容をどれだけ身につけたかを確かめるため
• 診断テスト：学生の得意・不得意を把握し、指導に生かすため
• 熟達度テスト：授業内容に関係なく、全体的な英語力を測るため

たとえば、期末試験で授業で扱っていない難しい長文ばかりを出題すると、それは到達度ではなく熟達度を測る試験に近くなります。目的と中身がずれていないかを確かめることが、良い試験の第一歩です。

ポイント：試験を作り始める前に、「この試験の結果を使って、誰が何を判断するのか」を1文で書いてみましょう。

02妥当性とは：測りたいものを測れているか

妥当性（validity）は、簡単に言えば「その試験の結果から、測りたい力について適切な判断ができるか」という問題です。現在の言語テスティングの考え方では、妥当性は試験そのものに備わった性質というより、結果の解釈や使い方が根拠によってどれだけ支えられているかの問題として捉えられています。

大学の試験で確かめたい問いの例

• 授業の到達目標と、試験の問題が対応しているか
• 「読む力」を測りたいのに、背景知識の有無で点数が大きく変わる問題になっていないか
• 「書く力」を測りたいのに、問題文の日本語が難しくて意図が伝わらない、ということはないか
• 試験の結果を、成績以外の目的（例：留学の選考）に使うとき、その使い方は適切か

たとえば、スピーキングの力を測りたいのに、会話文の空所補充だけで評価しているとしたら、測りたい力と試験の中身にずれがあると考えられます。

03信頼性とは：結果が安定しているか

信頼性（reliability）は、「同じ力の学生が受けたら、同じような結果になるか」という、結果の安定性の問題です。

信頼性を下げる要因には、次のようなものがあります。

• 問題数が少なすぎる：1問の出来不出来で点数が大きく変わる
• 採点者によって点数が違う：特に作文やスピーキングで起こりやすい
• 試験の条件がばらばら：時間や説明の仕方がクラスによって違う
• 問題の曖昧さ：正解が2つあるように読める選択肢

妥当性と信頼性の関係

信頼性が低い試験は、妥当性も低くなります。結果が不安定では、それをもとに適切な判断ができないからです。一方で、信頼性が高くても妥当性が高いとは限りません。たとえば、語彙の選択問題を大量に出せば結果は安定しやすいですが、それだけでは「話す力」を測ったことにはなりません。

大学の試験では、両方のバランスを考えることが大切です。

04出題設計表を作る

妥当性を高めるための実践的な道具が、出題設計表です。授業の到達目標と試験の問題を対応させる一覧表のことです。

作り方の手順

1. シラバスの到達目標を書き出す

• 例：目標1「学術的な文章の要点を把握できる」、目標2「グラフを英語で説明できる」、目標3「学術語彙を適切に使える」

1. それぞれの目標を、どの形式の問題で、何点分測るかを決める

• 目標1 → 長文読解の内容一致・要約（40点）
• 目標2 → グラフ説明の作文（30点）
• 目標3 → 語彙の選択と文の作成（30点）

1. 授業で各目標に使った時間と、配点のバランスを比べる
2. 問題を作った後、設計表と照らし合わせて抜けや偏りがないか確認する

設計表を作っておくと、複数の教員で同じ科目を担当するときにも、試験の方針を共有しやすくなります。

良い問題を作るための基本チェック

出題設計表で全体の方針が決まったら、一つひとつの問題の質を確かめます。特に選択問題では、次の点を確認しましょう。

選択問題のチェックポイント

• 正解は1つだけか：別の解釈で他の選択肢も正解になりえないか
• 選択肢の長さや形がそろっているか：正解だけが長い、正解だけが専門的な表現になっている、ということはないか
• 本文を読まなくても解けないか：常識だけで正解が分かる問題は、読解力を測れていません
• 否定形の問題を多用していないか：「当てはまらないものを選べ」は、読み違いを誘いやすくなります

改善の例（自作）

• 改善前：本文の内容と一致するものを選べ。（A）研究者は調査を行った（B）…

→ 本文を読まなくても正解しそうな一般的な内容になっている

• 改善後：筆者が調査の結果として最も強調していることは何か。

→ 本文の要点を理解しているかを問う形になる

作文・スピーキングの課題のチェックポイント

• 課題の指示は、学生のレベルで誤解なく理解できるか
• 何を書けば（話せば）評価されるのかが分かるか
• 背景知識の差が結果に大きく影響しないテーマか

作った問題は、同僚に解いてもらうのが最も効果的な点検方法です。作った本人には見えない曖昧さに気づいてもらえます。

05出題の難しさを点検する道具と、プレイスメントの参考資料

出題設計表を作ったら、問題の英文が学生のレベルに合っているかも確かめましょう。読解問題の英文の難しさが目標とずれていると、妥当性に影響します。

道具・資料	特徴	テスト作りでの使い方
Text Inspector	英文を貼ると、使われている語のレベルを分析する（無料版は語数制限あり）	長文読解の候補の英文を貼り、授業で扱った英文と難しさが大きく違わないか確かめる
Compleat Lexical Tutor	英文の語を頻度帯ごとに色分けする	授業で扱っていない低頻度語が多すぎないかを点検し、必要なら注を付ける
English Vocabulary Profile	語の意味ごとのCEFRレベルがわかる	語彙問題で問う語の意味が、到達目標のレベルに合っているかを確かめる
EF SET	無料でCEFRの目安を測れるオンラインテスト（公的な資格試験ではない）	プレイスメントの仕組みがない科目で、学生に自分のレベルの目安を知らせる参考に使う
Cambridge English	ケンブリッジ英語検定の公式サイト。レベルごとの見本の問題がある	作文やスピーキングのルーブリックを作るとき、レベルごとの課題の形を参考にする

英文の難しさを点検する手順

1. 候補の英文と、授業で読んだ英文を1つずつ Text Inspector に貼る
2. 2つの分析結果（語のレベルの分布）を並べる
3. 試験の英文のほうが大きく難しい場合は、英文を差し替えるか、語注を付ける

自動の分析は語彙の面の目安です。背景知識の必要さや設問の難しさは、同僚に解いてもらうなどして別に確かめましょう。

06採点のぶれを減らす工夫

作文やスピーキングの採点では、採点者によって点数がぶれやすくなります。次の工夫で、ぶれを小さくできます。

ルーブリックを使う

観点と段階を決めた評価表（ルーブリック）を作り、各段階の説明を具体的に書きます。

• 例（構成の観点、4段階の最上位）：主張・根拠・結論がはっきりしており、段落の役割が明確である

採点前にすり合わせをする

1. 複数の採点者で、同じ答案を3〜5枚、それぞれ採点する
2. 点数を比べ、違いが大きかった答案について理由を話し合う
3. 基準の解釈をそろえてから、本番の採点を始める

一人で採点するときの工夫

• 採点の途中で最初の数枚を見直し、基準がずれていないか確かめる
• 名前を隠して採点する
• 1つの観点ごとに全員分を採点する（答案ごとではなく観点ごとに進める）

完全にぶれをなくすことはできませんが、手順を決めておくだけで、採点の一貫性は高まります。

07試験の後にやること：簡単な問題分析

試験は実施して終わりではありません。結果を見直すことで、次の試験を良くするヒントが得られます。

簡単にできる分析

• 正答率：各問題の正答率を計算する。ほぼ全員が正解、またはほぼ全員が不正解の問題は、学生の力の差を見分ける役には立ちにくい
• 上位と下位の比較：全体の点数が高い学生と低い学生で、問題ごとの正答率を比べる。下位の学生のほうが正答率が高い問題は、問題文や選択肢に問題がある可能性がある
• 選択肢の分析：誰も選ばなかった選択肢は、見直しの候補になる

表計算ソフトがあれば、これらの分析は難しくありません。LMSの小テスト機能に、問題ごとの分析が付いている場合もあります。

分析の結果は、次の授業での復習や、翌年度の試験の改善に生かしましょう。

08よくある失敗と、その立て直し方

1. 前年度の試験をそのまま使い回す

授業の内容や到達目標が変わっているのに、試験だけが同じということがあります。毎年、出題設計表と照らし合わせて確認しましょう。

2. 測りやすいものだけを測る

採点が楽な選択問題に偏ると、話す・書く力が評価されません。測りたいものから考えましょう。

3. 学生に試験の目的を伝えない

何を測る試験かが分かれば、学生は適切な準備ができます。試験の形式と評価の観点は、事前に示しましょう。

まずは次の試験に向けて、シラバスの到達目標と試験問題を並べた出題設計表を1枚作るところから始めてみてください。