論文の読み方 ― 効果量・信頼区間・p値・メタ分析を英語の先生向けにかみ砕く
「有意差あり」は「よく効く」という意味ではありません。効果量 d、信頼区間、メタ分析、出版バイアス。英語教育の論文を読むのに必要な道具を、教室のたとえで一つずつ説明します。
エビデンスの強さ:研究の読み方(統計と研究デザインの基礎)を説明するページ。効果を測る対象ではない。

論文の「数字」ってなに?
ひとことで言うと、論文の数字は「本当は差がないとしたら、この差は珍しい?(p 値)」と「どれくらい効いた?(効果量)」を、だれが読んでも同じものさしで判断できるようにしたものです。 12
英語教育の論文には、だいたい次の数字が出てきます。
| 数字 | ひとことで | 教室のことばで |
|---|---|---|
| 平均(M)・標準偏差(SD) | 点数の平均と、平均からのばらつき | 「平均60点、SD は15点」=点が平均からどのくらい散らばっているかの目安 |
| p 値 | 「本当は差がない」と仮定したとき、今回以上の差が出る確率 | 「クラスの当たり外れだけなら、こんな差はめったに出ない?」の目安 |
| 効果量 d・g | 差の大きさ(標準偏差何個分か) | 「どれくらい伸びたか」の共通のものさし |
| 効果量 r | 2つのものの関係の強さ | 「多読の量と読む速さは、どれくらい一緒に動く?」 |
| 95%信頼区間(CI) | データと両立する効果の範囲(推定の不確かさの目安) | 「d はおおむね 0.3〜0.9 と見積もれる」という幅 |
新しい単語テストのやり方を試して、Aクラスが平均で5点上がったとします。p 値は「本当は効果がないとしたら、5点以上の差はどれくらい珍しい?」に答える数字。効果量は「その5点は、クラスの点のばらつきに比べて大きい?小さい?」に答える数字です。ばらつきが±3点のクラスで5点上がるのは大事件ですが、±30点のクラスで5点上がるのは誤差のうちかもしれません。効果量は、この「ばらつきに比べてどれくらいか」を表します 2。大事なのは、「たまたまではない」ことと「大きく効いた」ことは別の話だという点です。
似たものとのちがい:p 値・効果量・信頼区間
| p 値 | 効果量(d・g・r) | 95%信頼区間 | |
|---|---|---|---|
| 答える問い | 差がないとしたら、この差は珍しい? | どれくらい効いた? | 効果はどのくらいの幅で見積もれる? |
| よくある読み違い | 「p < .001 だからすごく効く」→ p 値は効果の大きさではない 1 | 「d = 0.5 だから中くらい」→ 第二言語研究では目安が大きめ 3 | 幅が 0 をまたいでいたら、「効果がないかもしれない」可能性も残る |
| 授業に取り入れるかを決めるとき | これだけで決めない | 中心に見る | 中心に見る(幅が狭いほど安定) |
このページでわかること3つ
- 「どれくらい効いたか」を表す d・g・r の読み方と、第二言語研究に合わせた目安
- 信頼区間と p 値の読み方、たくさんの研究をまとめるときの落とし穴(出版バイアス)
- 研究デザイン(実験・準実験・事前事後・相関・質的研究)の見分け方と、論文を10分で読む手順
効果量(d・g・r)を読む
効果量 d(Cohen の d)は、2つのグループの平均の差を、標準偏差で割った数字です。d = 0.5 なら「標準偏差の半分ぶん差がある」という意味です 2。g(Hedges の g)は、人数が少ないときに d が大きめに出るのを補正したもので、読み方は d とほぼ同じと考えてかまいません。r(相関係数)は −1〜+1 の数字で、2つのものがどれくらい一緒に動くかを表します(用語集:効果量・Cohen の d・相関係数)。
心理学者の Jacob Cohen 氏は、目安として d = 0.2 を小、0.5 を中、0.8 を大としました(r なら .1・.3・.5) 23。d は、正規分布を仮定して計算すると、「指導を受けたクラスの平均的な生徒が、受けなかったクラスの中で下から何%の位置に入るか」に言いかえられます。
| d | 受けなかったクラスの中での位置(目安) |
|---|---|
| 0.2 | 真ん中より少し上(下から約58%) |
| 0.5 | 上位3分の1に近い(約69%) |
| 0.8 | 上位5分の1くらい(約79%) |
| 1.0 | 上位6分の1くらい(約84%) |
(正規分布を仮定した計算。人数やテストによって当然ぶれます。)
第二言語研究では「d = 0.5 は小さめ」かもしれない
Cohen 氏の目安は、もともと大まかな手引きで、決まりとして当てはめるためのものではありませんでした 3。第二言語研究の方法を研究する Luke Plonsky 氏と Frederick L. Oswald 氏は、第二言語の研究346本とメタ分析91本(延べ60万人以上)の効果量を調べ、Cohen 氏の目安は第二言語研究の効果を小さく見積もりすぎていると報告し、分野に合わせた目安を提案しました 3。
その目安は、2つのグループを比べる研究(群間)なら d = 0.40 で小、0.70 で中、1.00 で大。同じ生徒の事前・事後を比べる研究(群内)なら 0.60・1.00・1.40 です 34。これらは、集めた研究の効果量の分布にもとづく目安です。群内と群間では、測定間の相関や効果量の計算方法などが異なるため、同じ基準をそのまま使えません。なお、対照群のない事前・事後比較では、成長やテスト慣れの影響も区別できません。
一方で、学校全体の学力テストを使った教育の介入研究では、Cohen 氏の基準で「小」の効果でも、現実には大きい部類に入ることが多いという指摘もあります 5。何を、どんなテストで測ったかで、同じ 0.3 でも意味が変わるのです。
信頼区間と p 値を読む
95%信頼区間は、同じ方法で調査を何度もくり返すと、作った区間の約95%が本当の値を含むように計算した幅です。実用上は「このデータと両立する効果の範囲」と読みます。上の語用論のメタ分析なら、データと両立する効果はおおむね g = 1.39〜1.92 です 8。幅が狭いほど、推定が安定している(研究の数や人数が多い)サインです。幅が 0 をまたいでいたら(例:d = −0.1〜0.5 のように、マイナスからプラスまで広がっているとき)、「効果がないかもしれない」可能性も残っている、と読みます(用語集:信頼区間)。
p 値については、アメリカ統計学会が2016年に声明を出し、6つの原則を示しました 1。先生向けに言いかえると、こうなります。
- p 値は、データが「ある仮定(たとえば差はゼロ)」とどれくらい合わないかを示すもの。
- p 値は「仮説が正しい確率」でも、「データが偶然だけで生まれた確率」でもない。
- 結論や判断を、p < .05 かどうかだけで決めてはいけない。
- 正しく判断するには、行った分析をすべて報告する透明性が必要。
- p 値も「有意」も、効果の大きさや重要さを表さない。
- p 値だけでは、証拠の強さの良い目安にならない。
だから最近は、「有意かどうか」の二択から、効果量・信頼区間・メタ分析でどれくらいかを推定する方向へ切りかえよう、という提案が広がっています 9。
メタ分析と出版バイアス
メタ分析は、同じテーマのたくさんの研究の効果量を、決まった手順で集めて平均する方法です。①テーマの範囲を決める、②研究をコード化する(各研究の人数・指導・テストなどを、決まった項目で記録する)、③分析する、④解釈する、という段階があり、どの段階にも「同じくらい妥当な選び方」が複数あって、その選び方が結果を左右します 10(用語集:メタ分析)。
第二言語研究のメタ分析120本を点検した系統的レビューによると、1本のメタ分析に含まれる研究は平均37本でした。出版バイアスを調べる方法としては、ファネルプロット(漏斗図)、トリム・アンド・フィル法、フェイルセーフ N(どれも、集めた研究が「効果あり」の側にかたよっていないかを確かめる方法)がよく使われていました。一方で、分析モデルの報告漏れや、ごく少数の研究だけでの比較などの問題も見つかっています 11。
出版バイアスとは、「効果あり」の結果ほど論文になりやすく、「効果なし」の結果は引き出しにしまわれやすいために、集めた研究の平均が実際より大きくなってしまうことです(用語集:出版バイアス)。ただ、いつも必ず起きるとも限りません。誤り訂正のメタ分析では、出版された論文と博士論文で効果の大きさに差がありませんでした 12。
- 誤り訂正の効果は、実験室で行った研究の方が教室で行った研究より大きく、外国語環境(日本のような EFL)の方が第二言語環境(その言語が話されている国で暮らしながら学ぶ環境)より大きいと報告されています 12。
- 明示的な文法指導は、単純な文法項目でも複雑な文法項目でも、暗示的な指導より効果が大きいというメタ分析もあります(41研究) 13。
- 第二言語研究で追試(同じ研究をもう一度やって確かめること)は、論文400本に1本ほどしかなく、元の研究とまったく同じ条件でやり直した追試は見つかりませんでした 14。
- 30誌150本の論文を点検した研究では、信頼性や効果量の報告漏れ、多重比較の補正なしなどの統計の問題がよく見られました 15。
研究デザインを見分ける
| デザイン | どんな研究? | 強み | 注意点 |
|---|---|---|---|
| 実験 | 生徒をくじ引きで2群に分けて比べる | 「指導のおかげ」と言いやすい | 学校ではくじ引きで分けるのが難しい |
| 準実験 | もとのクラスのまま2クラスを比べる | 学校で現実的 | クラスの差(担任・時間帯)が混ざる |
| 事前・事後(1群) | 同じクラスの前後を比べる | 手軽 | 指導なしでも伸びる分と区別できない |
| 相関 | 2つの数字の関係を見る | たくさんの人を調べられる | 因果はわからない |
| 質的研究 | インタビュー・観察・記録を深く読む | 「なぜ」「どのように」がわかる | 一般化には慎重に |
日本の学校で先生が研究をするなら、たいていは準実験(もとのクラスのまま比べる)になるでしょう(用語集:準実験)。また、指導の直後だけでなく数週間後にもう一度テストする遅延事後テストがあるかどうかは、「定着したか」を判断する大事な手がかりです(用語集:遅延事後テスト)。
明日の授業でこうする
- 要旨(Abstract)だけ読む:何を、だれに、どう比べ、どうなったか。ここで「自分の生徒に近いか」を判断します。
- 参加者を見る:日本の中高生?大学生?人数は? 1クラス20人の研究と、何千人のメタ分析では重みが違います。
- 比べ方を見る:くじ引き?もとのクラス?事前・事後だけ?(上の表)
- 効果量と信頼区間を探す:d・g・r の値と、その幅。群間か群内かで目安を変えます 3。
- 条件を書き出す:指導の時間・期間・テストの種類。自分の授業でまねできる条件かを確かめます。
- 中学校:「単語テストを毎回のミニテストにしたら伸びた」と感じた先生が、前年度の同じ学年と比べるのではなく、同じ学年の2クラスで方法を変え、3週間後にもう一度テストした。差は小さかった。先生は差の大きさ(d)と信頼区間を計算し、校内研修では「差はあったが小さい」と、その数字を添えて正直に報告した。
- 高校:多読の研究結果を同僚に紹介する前に、その研究の参加者が大学生中心か、日本の高校生に近いかを確かめた(多読)。
- 小学校:アンケートの「楽しかった」の割合だけでなく、自由記述を読んで「何が楽しかったか」を分類した(質的なデータの活用)。
❓ よくある質問
Q. 効果量とは何ですか?
「どれくらい効いたか」を表す共通のものさしです。Cohen の d は、2つのグループの平均の差を標準偏差で割った数字で、d = 0.5 なら標準偏差の半分ぶん差があるという意味です 2。g は人数が少ないときに d が大きめに出るのを補正したもの、r は2つのものがどれくらい一緒に動くかを表します。
Q. 「有意差あり」は「よく効く」という意味ですか?
いいえ。p 値は、データが「差はゼロ」などの仮定とどれくらい合わないかを示すもので、効果の大きさや重要さを表しません 1。授業に取り入れるかを決めるのは、効果量と信頼区間です。人数が少ないと本当は効果があっても有意にならないので、「有意差なし=効果なし」とも読みません。
Q. 効果量 d の目安は?
心理学者の Jacob Cohen 氏は 0.2 を小、0.5 を中、0.8 を大としました 2。第二言語研究ではこの目安が効果を小さく見積もりすぎているとして、2群を比べる研究なら 0.40・0.70・1.00、同じ生徒の事前・事後の比較なら 0.60・1.00・1.40 という分野別の目安が提案されています 3。
Q. メタ分析なら信頼してよいですか?
1本の研究よりメタ分析が基本ですが、注意点があります。「効果あり」の結果ほど論文になりやすい出版バイアスで平均が大きくなることがあり、誤り訂正の効果は実験室の研究の方が教室の研究より大きく出ていました 12。どんな研究をどういう基準で集めたかまで読みます 10。
Q. 論文を短時間で読むコツは?
①要旨だけ読む、②参加者(日本の中高生か、人数は)を見る、③比べ方(くじ引きか、もとのクラスか、事前・事後だけか)を見る、④効果量と信頼区間を探す(群間か群内かで目安を変える 3)、⑤指導の時間・期間・テストの種類を書き出す、の5ステップで、10分ほどで自分の授業に使えそうかを判断します。
🎓 もう一歩深く(大学院レベル)
🎓院生モード分野別の効果量の目安は使ってよいのか
Plonsky 氏と Oswald 氏の目安は、実際の論文でも結果を解釈するものさしとして使われています 4。ただし本人たちも、効果量の解釈では、その分野の理論の成熟度、実験操作の強さ、出版バイアスの有無など、いくつもの点を考えるべきだと述べています 3。
教育の介入研究では、効果量は研究の特徴・費用・広げやすさと合わせて解釈すべきだという提案もあります 5。たとえば、準備がほとんど要らず全校で続けられる工夫の d = 0.2 と、少人数で特別な教材を使う実験の d = 1.0 は、学校にとっての価値が単純には比べられません。「小・中・大」のラベルは出発点にすぎず、自分の学校の条件で何を意味するかを考えるのが研究を読む力です。
🎓院生モードメタ分析は「りんごとみかん」を混ぜていないか
メタ分析の最大の弱点は、性質の違う研究(対象・指導・テストがばらばら)を一つの平均にまとめてしまう危険です。メタ分析のどの段階にも複数の妥当な選択肢があり、その選択が結果と解釈を変えます 10。第二言語研究のメタ分析120本の点検でも、分析モデルの未報告や、ごく少数の研究しかない下位グループでの比較など、手続きの問題が指摘されています 11。
さらに、元の研究そのものの質の問題もあります。統計の報告不足は珍しくなく 15、追試もきわめて少ないのが現状です 14。メタ分析の平均値を見るときは、どんな研究を、どういう基準で集めたか(研究の選び方・調整変数の分析)まで読むのが大学院レベルの読み方です(用語集:調整変数・系統的レビュー)。
🎓院生モード統計を日本語で学ぶなら
研究デザインと統計を日本語で体系的に学ぶなら『外国語教育研究ハンドブック』 16、英語で研究法の全体を学ぶなら Mackey & Gass 17 や Dörnyei 18 が定番です。自分の授業で小さな研究を始める手順はアクションリサーチ入門で紹介しています。
🎁 玉手箱で使えるツール
原田英語の「英語の先生の玉手箱」の無料ツール。登録なしで授業にそのまま使えます。
📑 出典(18件)
本文の上付き数字に対応。✔ は DOI / ISBN / 公式ページを書誌データベースと機械照合した印です。
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129-133. doi:10.1080/00031305.2016.1154108 ✔ DOI照合済アメリカ統計学会による p 値の正しい使い方・解釈についての声明
- Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi:10.1037/0033-2909.112.1.155 ✔ DOI照合済効果量の「小・中・大」の慣例値と、必要なサンプルサイズの表を示した有名な短い論文
- Plonsky, L., & Oswald, F. L. (2014). How big is "big"? Interpreting effect sizes in L2 research. Language Learning, 64(4), 878-912. doi:10.1111/lang.12079 ✔ DOI照合済第二言語研究の効果量の大小の目安を、346研究・91メタ分析から示した論文
- Criado, R., Garcés-Manzanera, A., & Manchón, R. (2026). Model-based feedback in digital writing: Effects on young EFL learners' writing processes and text features. Asian-Pacific Journal of Second and Foreign Language Education, 11(1). doi:10.1186/s40862-026-00390-z ✔ DOI照合済小学生のライティングでモデル文の効果を調べた研究。Plonsky & Oswald の効果量の目安(群間・群内)を明記して解釈している
- Kraft, M. A. (2020). Interpreting effect sizes of education interventions. Educational Researcher, 49(4), 241-253. doi:10.3102/0013189X20912798 ✔ DOI照合済教育の介入研究の効果量は、Cohen の基準で「小」でも現実には大きいことが多いと論じ、読み方の指針を示した論文
- Norris, J. M., & Ortega, L. (2000). Effectiveness of L2 instruction: A research synthesis and quantitative meta-analysis. Language Learning, 50(3), 417-528. doi:10.1111/0023-8333.00136 ✔ DOI照合済第二言語の指導効果をまとめた最初の本格的メタ分析(49研究)。明示的な指導が暗示的な指導より効果的
- Boulton, A., & Cobb, T. (2017). Corpus use in language learning: A meta-analysis. Language Learning, 67(2), 348-393. doi:10.1111/lang.12224 ✔ DOI照合済コーパス(用例検索)を使う学習(データ駆動型学習)のメタ分析(64研究)
- Ren, W., Li, S., & Lü, X. (2022). A meta-analysis of the effectiveness of second language pragmatics instruction. Applied Linguistics, 44(6), 1010-1029. doi:10.1093/applin/amac055 ✔ DOI照合済語用論(場面にふさわしい言い方)の指導のメタ分析(29研究・1,898人)。大きな効果(g = 1.66)。外国語環境・長めの指導・高校で効果大
- Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7-29. doi:10.1177/0956797613504966 ✔ DOI照合済有意かどうかの二択から、効果量・信頼区間・メタ分析による「推定」への転換をすすめた論文
- Oswald, F. L., & Plonsky, L. (2010). Meta-analysis in second language research: Choices and challenges. Annual Review of Applied Linguistics, 30, 85-110. doi:10.1017/S0267190510000115 ✔ DOI照合済第二言語研究のメタ分析の手順と、各段階での選択の難しさを解説した総説
- Vuogan, A., & Li, S. (2023). A systematic review of meta-analyses in second language research: Current practices, issues, and recommendations. Applied Linguistics Review, 15(4), 1621-1644. doi:10.1515/applirev-2022-0192 ✔ DOI照合済第二言語研究のメタ分析120本のやり方を点検した系統的レビュー(出版バイアスの調べ方など)
- Li, S. (2010). The effectiveness of corrective feedback in SLA: A meta-analysis. Language Learning, 60(2), 309-365. doi:10.1111/j.1467-9922.2010.00561.x ✔ DOI照合済誤り訂正(フィードバック)のメタ分析(33研究)。全体として中程度の効果で、効果は持続する
- Spada, N., & Tomita, Y. (2010). Interactions between type of instruction and type of language feature: A meta-analysis. Language Learning, 60(2), 263-308. doi:10.1111/j.1467-9922.2010.00562.x ✔ DOI照合済明示的/暗示的指導と、文法項目の難しさ(単純/複雑)の関係を調べたメタ分析(41研究)
- Marsden, E., Morgan-Short, K., Thompson, S., & Abugaber, D. (2018). Replication in second language research: Narrative and systematic reviews and recommendations for the field. Language Learning, 68(2), 321-391. doi:10.1111/lang.12286 ✔ DOI照合済第二言語研究の追試(再現研究)の実態を調べたレビュー。追試は約400本に1本と少ない
- Al-Hoorie, A. H., & Vitta, J. P. (2019). The seven sins of L2 research: A review of 30 journals' statistical quality and their CiteScore, SJR, SNIP, JCR Impact Factors. Language Teaching Research, 23(6), 727-744. doi:10.1177/1362168818767191 ✔ DOI照合済第二言語研究の論文150本の統計のよくある誤り(信頼性の未報告・効果量の未報告など)を調べた論文
- 竹内理・水本篤 (2023). 外国語教育研究ハンドブック:研究手法のより良い理解のために (増補版). 松柏社 本の紹介ページ ✔ リンク確認済外国語教育研究の研究デザインと統計手法を日本語で解説したハンドブック
- Mackey, A., & Gass, S. M. (2021). Second Language Research: Methodology and Design (3rd). Routledge doi:10.4324/9781003188414 ✔ DOI照合済第二言語研究の方法(実験・質的・混合など)とデザインを一通り学べる大学院定番の教科書(第3版)
- Dörnyei, Z. (2007). Research Methods in Applied Linguistics. Oxford University Press 本の紹介ページ ✔ ISBN照合済量的・質的・混合研究法を応用言語学の例で解説した研究法の定番書
最終更新 2026-10-18 ・ 原田英語 まちがいのご指摘はこちら







