評価・テスト・外部試験の使い方

言語テスティングの基本の問いは、「このテストの結果から、この判断(合否・クラス分け・成績)をしてよいと言えるか」です。期末試験・パフォーマンス評価・外部試験のどれを使う場合でも、この問いに説明できる評価にしておくと、学生にも同僚にも説明責任を果たせます。

キーワード妥当性/信頼性/ウォッシュバック
代表的な理論Bachman & Palmer, Messick
こんな先生に学内共通試験・プレースメントを作る・見直す
高校との共通点観点別評価・パフォーマンステスト
評価・テスト・外部試験の使い方のイラスト

🧱 Bachman & Palmer の「テストの有用性」

Bachman & Palmer(1996)は、テストの質を有用性(usefulness)としてとらえ、次の6つの性質のバランスで考えることを提案しました。すべてを最大にすることはできないので、テストの目的に応じてバランスをとるのがポイントです。

性質問い大学の授業での例
信頼性同じ力の学生は同じ結果になるか採点基準の明確化、複数評価者、十分な項目数
構成概念妥当性測りたい力を測っているか「スピーキング」を筆記の並べ替え問題で測っていないか
真正性実際の言語使用に近いか講義を聞いてノートをとる、論文の要旨を読む
相互作用性学習者の知識・方略を使わせるか主題の知識や計画を使う課題
影響(インパクト)学習・授業にどんな影響を与えるかウォッシュバック:テストに合わせて学生の学び方が変わる
実用性時間・人手・費用で実施できるか100人規模のスピーキング評価をどう回すか

現在の言語テスティングでは、妥当性は「テストそのものの性質」ではなく、テスト得点の解釈と使用が根拠によって支えられているかの問題として扱われます(Messick, 1989; Kane, 2013)。Bachman & Palmer(2010)は、この考え方を言語テストの開発に応用し、「評価の記録 → 解釈 → 判断 → 結果(影響)」を論証の連鎖として示す評価使用論証(Assessment Use Argument: AUA)を提案しています。

📐 ルーブリックと評価者間のブレを減らす

分析的ルーブリック総合的ルーブリック
形観点ごと(内容・構成・言語…)に段階をつける全体の印象で1つの段階をつける
長所学生へのフィードバックが具体的。弱点がわかる採点が速い。大人数の評価に向く
短所採点に時間がかかる何が足りないか伝わりにくい

複数教員で評価をそろえる手順(キャリブレーション)

  1. 基準作品(ベンチマーク)を選ぶ:前年度の作文・録画から、各段階の典型例を選ぶ(学生の許可・匿名化を忘れずに)。
  2. 全員で同じ作品を個別に採点し、比べる:ずれた箇所について、ルーブリックの記述のどこをどう読んだかを話し合う。
  3. 記述を修正する:解釈が割れた語(「おおむね」「適切に」など)を具体的にする。
  4. 一部を二重採点する:本番でも一定割合を2人で採点し、一致度を確かめる。

🔬 項目分析:問題の「質」を数字で確かめる

多肢選択式の学内共通試験やプレースメントテストは、実施後に項目分析を行うと、次年度に改善すべき問題がわかります。古典的テスト理論での基本の指標は2つです。

指標意味目安
正答率(p 値。困難度指数とも呼ぶが、値が高いほどやさしい)その問題に正解した受験者の割合集団の弁別が目的なら、極端に高い・低い問題(例:.90以上、.20以下)は再検討
識別力(識別指数 D・点双列相関)得点の高い受験者ほど正解しているか識別指数 D の目安(Ebel & Frisbie, 1991):.40以上は非常に良好、.30〜.39はおおむね良好、.20〜.29は境界的で改善を検討、.19以下は削除または修正。マイナスは正答キーや問題文の不備を疑う
錯乱肢の分析誤答の選択肢がどれだけ選ばれたか誰も選ばない選択肢、上位群が多く選ぶ選択肢は修正
💡 玉手箱の「項目分析」は、受験者×問題の正誤表(Excel からコピー)を貼るだけで、正答率・識別力を一覧にできます。「得点統計・偏差値」で平均・標準偏差・分布も確認できます。
⚠️ 上の目安は、受験者の間に差をつけることが目的の集団基準準拠(norm-referenced)のテスト(プレースメント・選抜)向けです。「授業の目標を達成したか」を確かめる目標基準準拠(criterion-referenced)の到達度テストでは、よく指導できた項目ほど正答率が高く識別力が低くなるのは自然なことで、それだけで欠陥とはいえません。

🔁 形成的評価とフィードバック

Black & Wiliam(1998)の総説は、授業の中で学習の状況を確かめ、それに応じて指導を調整する形成的評価が学力の向上に効果をもちうることを示しました(ただし効果の大きさの見積もりには、のちに方法論上の批判もあります。Bennett, 2011)。Hattie & Timperley(2007)は、効果的なフィードバックは次の3つの問いに答えるものだと整理しています。

問い意味英語授業での例
Where am I going?(目標)めざすゴールは何か今日の Can-Do、ルーブリックの最上位の記述
How am I going?(現状)いまどこまで来ているかルーブリックの該当段階、エラーログ
Where to next?(次の一歩)次に何をすればよいか「次は根拠に具体例を1つ足そう」

🏷️ 外部試験をプレースメント・単位認定に使うときの注意

TOEIC L&R、TOEFL ITP、IELTS、英検などの外部試験は、プレースメント、単位認定、卒業要件などに広く使われています。使う前に、その試験が何を測っていて、自分たちの判断に合っているかを確認しましょう。

確認することなぜ大切か
測っている技能例:TOEIC L&R はリスニング・リーディング、TOEFL ITP はリスニング・文法(Structure and Written Expression)・リーディングの多肢選択式で、話す・書く力は直接測らない。スピーキング科目のクラス分けに使うと構成概念がずれる
想定している言語使用の場面ビジネス・日常(TOEIC)か、学術(TOEFL・IELTS Academic)か
CEFR との対照の根拠試験団体ごとに対照研究の方法と時期が異なる。どの対照表を使ったかを明記する
ウォッシュバック単位認定に使うと、授業が試験対策に偏る可能性がある(Alderson & Wall, 1993)
費用と公平性受験料の負担、受験機会の差
🔗 高校とのつながり(高大接続)

高校では観点別学習状況の評価(「知識・技能」「思考・判断・表現」「主体的に学習に取り組む態度」)が行われ、パフォーマンステスト(スピーチ・インタビューテスト)も広く実施されています。また大学入学共通テストの英語はリーディング100点・リスニング100点の配点です。新入生は「聞く・読む」に比べて「話す・書く」を試験で測られた経験が少ないことを前提に、最初の評価課題では手順と基準をていねいに示しましょう。

📚 参考文献

  1. Bachman, L. F., & Palmer, A. S. (1996). Language testing in practice. Oxford University Press.
  2. Bachman, L. F., & Palmer, A. S. (2010). Language assessment in practice. Oxford University Press.
  3. Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 13–103). American Council on Education / Macmillan.
  4. Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73.
  5. Ebel, R. L., & Frisbie, D. A. (1991). Essentials of educational measurement (5th ed.). Prentice Hall.
  6. Black, P., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7–74.
  7. Bennett, R. E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5–25.
  8. Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112.
  9. Alderson, J. C., & Wall, D. (1993). Does washback exist? Applied Linguistics, 14(2), 115–129.

🎓 大学英語ラボ(大学の英語教育)のほかのテーマ

※ 2026-10-04 時点の情報にもとづいて作成しています。制度・ガイドライン・試験の仕様は変わることがあるため、最新の情報は各機関の公式資料でご確認ください。研究知見は代表的な文献の要点を紹介したもので、詳細は原典をご参照ください。