カッパ係数の計算ツール（無料）評価者間信頼性・クロンバックのα・ICC

Excelから2人の採点を貼るだけで、一致率・Cohenのκ（SE・95%CI）・重み付きκ・相関・混同行列を算出。複数評価者・項目ではCronbachのα、ICC(2,1)/(2,k)も。報告書はPDF・Wordで出力。

評価者間信頼性カルキュレーターとは

複数の教員で採点したライティングやスピーキングの評価者間信頼性を、ブラウザだけで計算できる無料ツールです。2人の採点を貼ると、一致率、Cohenのκと95%信頼区間（Fleiss, Cohen & Everitt, 1969 の標準誤差）、重み付きκ、相関、評価者ごとの厳しさ、クロス表、2段階以上ずれた答案を一度に表示。複数評価者・項目ではCronbachのαとICC(2,1)/(2,k)を算出し、Shrout & Fleiss (1979) の例題と一致することを確認済みです。

主な機能

完全一致率・隣接一致率（±1）、Cohenのκ（SE・95%CI・z検定）、線形／二次の重み付きκ

Pearson r・Spearman ρ（同順位補正）、評価者ごとの平均・SDと対応のあるt検定で厳しさを比較

クロス表（混同行列）と、2段階以上ずれた評定の一覧（協議・再採点の候補）

Landis & Koch (1977) の目安と注意書き、κのパラドックス警告（κmax・PABAKを併記）

複数評価者・項目：Cronbachのα（Feldtの95%CI）、標準化α、修正済み項目−合計相関、項目削除時のα

ICC(1,1)〜ICC(3,k)の6種と95%CI（McGraw & Wong, 1996）、分散分析表

英文の報告文をコピー、CSV書き出し、計算式・文献つきレポートを印刷スタジオでPDF・Word保存

使い方（3ステップ）

「2人の評価者（κ）」タブで、Excelの採点2列（名前列は任意）を貼り付ける（「サンプル」で動作確認も可）

尺度（順序／名義）とカテゴリの範囲を確認すると、κ・一致率・クロス表が自動で表示されます

「📋 報告文をコピー」「📥 CSV」「🖨 レポート」で論文・校内報告用に書き出す

授業での活用アイデア

ライティング採点のキャリブレーションに英作文を2人の教員が4段階ルーブリックで採点し、得点の2列を貼り付けます。重み付きκと2段階以上ずれた答案の一覧を見て、ずれの大きい答案から協議すると、採点基準のすり合わせが効率よく進みます。

研究論文の信頼性報告に発話データのコーディングや質的分類を2名で行った場合は名義尺度で κ を計算。英文の報告文例と、計算式・文献を明記したレポートをそのまま研究ノートに残せます。

質問紙やルーブリックの内的一貫性の確認に学生×項目の表を貼るとCronbachのαと項目削除時のαを表示。αを下げている観点や設問がすぐ分かり、尺度の改訂に役立ちます。

複数教員によるスピーキングテストの検証に3人以上の評価者が同じ受験者を採点した場合は「列＝評価者」を選び、ICC(2,1)とICC(2,k)で、1人採点と平均点のそれぞれの信頼性を確認できます。

よくある質問

無料で使えますか？登録は必要ですか？

無料で、登録やログインも不要です。ブラウザで開くだけで使えます。

入力した成績データはどこかに送信されますか？

いいえ。計算はすべてお使いのブラウザ内で行われ、データはこのブラウザ（localStorage）にだけ保存されます。外部に送信されることはありません。

κの標準誤差と信頼区間はどの方法で計算していますか？

Fleiss, Cohen & Everitt (1969) の大標本漸近分散（帰無仮説を仮定しない式）を用い、95%信頼区間は κ ± 1.96 SE です。z検定には帰無仮説下の標準誤差を使っています。重み付きκにも同じ一般式を適用しています。

結果を印刷したりWordで保存したりできますか？

できます。「🖨 レポート」で要約表・クロス表・解釈・計算式・文献をまとめた報告書を作成し、印刷スタジオから印刷、PDF、Word（.doc）で保存できます。CSV書き出しにも対応しています。

100点満点の素点でも使えますか？

κは段階評価（カテゴリ）用の指標なので、素点の一致を見る場合は「複数の評価者・項目」タブで列＝評価者を選び、ICCを使ってください。