アカウント名:
パスワード:
一度採点した答案と同じものをもう一つ混ぜておいて、時間差で同一人に採点させても多分点数が同じにはならないだろう。記述式の試験の採点に使えるAIが完成するまでは記述式の問題を公平に採点するなんてのは実現不可能よ。点数には誤差が生じるということを前提にした合否判定の仕組みを作ったほうが早いんじゃないかな。
実際にやってみると判りますが、そうでもないですよ。
大学入試程度の試験答案を複数回採点した経験がありますが、ほぼブレはありませんでした。異なる結果になるのは初回の採点にミスがあった場合だけだと思います。件数が少ないと無意識に記憶してしまうということもあるかもしれませんが、100件弱〜1000件程度の経験の範囲では大丈夫なように思います。
正確に言えば、ブレないための基準を設けて判断するようにしないと件数の多い採点はできません。得点を積算する基準を決めておいて、それに照し合せながら判断できるようにしないと普通の人間には無理な作業だと思います。私には経験がありませんが、小論文的なものの評価でも同じことが言えそうです。むしろ「記述式」よりも小論文の方が厳格な基準を定めながらの採点をするはずです。複数人で採点するなら実際に基準のもとになるものをルーブリック形式等で準備くらいするでしょう。
AIと呼ばれるものが使えるようになれば、もっと柔軟な基準を設けて実際の答案データで学習させながら、結果が収束するまで採点を繰り返すとかができるのかもしれませんね。
前提に依りますね。
現在の2次試験であれば、一応問題作成が出来るレベルの教授陣が採点してるんで、実際やってみれば分かるけどそんなブレブレにはならんですよ。誤字や難読字をどの程度解釈するかみたいな部分で多少誤差は生じるかもしれないが、根本となる採点基準に合致するかどうかの判断を延々繰り返すだけなので、たぶんあなたがふんわり想像してるような、感性や感覚でなんとなく点数をつけているのでは無く、比較的ロジカルな作業でしかないです。
あと大概は2名以上が採点して結果をつきあわせますから、ヒューマンエラーはある程度抑制されますし、これまで採点してきた回答を毎回脳内からリセットして作業するわけではありませんから、微妙なラインに引っかかった回答は覚えていますよ。
どこかの会社が集めたバイトが採点する場合は、かなりブレが出るでしょうから、最低3名以上でやってほしいですね。
今でも同じ人が違う年の問題を解いても同じ点数にはならんだろ。点数には誤差が生じるなんて当たり前じゃないの?学力と点数にどの程度相関があるか調査してからそういうこと言えばいいんじゃないの?
逆に同じ回答を複数人が採点して,平均とってみたらどうなんだろうか.コスト的に無理だろうけども.
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
弘法筆を選ばず、アレゲはキーボードを選ぶ -- アレゲ研究家
採点者が一人だけでも公平な採点は恐らく不可能 (スコア:0)
一度採点した答案と同じものをもう一つ混ぜておいて、時間差で同一人に採点させても多分点数が同じにはならないだろう。
記述式の試験の採点に使えるAIが完成するまでは記述式の問題を公平に採点するなんてのは実現不可能よ。
点数には誤差が生じるということを前提にした合否判定の仕組みを作ったほうが早いんじゃないかな。
Re:採点者が一人だけでも公平な採点は恐らく不可能 (スコア:2, 興味深い)
実際にやってみると判りますが、そうでもないですよ。
大学入試程度の試験答案を複数回採点した経験がありますが、ほぼブレはありませんでした。
異なる結果になるのは初回の採点にミスがあった場合だけだと思います。
件数が少ないと無意識に記憶してしまうということもあるかもしれませんが、100件弱〜1000件程度の経験の範囲では大丈夫なように思います。
正確に言えば、ブレないための基準を設けて判断するようにしないと件数の多い採点はできません。
得点を積算する基準を決めておいて、それに照し合せながら判断できるようにしないと普通の人間には無理な作業だと思います。
私には経験がありませんが、小論文的なものの評価でも同じことが言えそうです。
むしろ「記述式」よりも小論文の方が厳格な基準を定めながらの採点をするはずです。
複数人で採点するなら実際に基準のもとになるものをルーブリック形式等で準備くらいするでしょう。
AIと呼ばれるものが使えるようになれば、もっと柔軟な基準を設けて実際の答案データで学習させながら、結果が収束するまで採点を繰り返すとかができるのかもしれませんね。
Re:採点者が一人だけでも公平な採点は恐らく不可能 (スコア:1)
前提に依りますね。
現在の2次試験であれば、一応問題作成が出来るレベルの教授陣が採点してるんで、
実際やってみれば分かるけどそんなブレブレにはならんですよ。
誤字や難読字をどの程度解釈するかみたいな部分で多少誤差は生じるかもしれないが、
根本となる採点基準に合致するかどうかの判断を延々繰り返すだけなので、
たぶんあなたがふんわり想像してるような、感性や感覚でなんとなく点数をつけているのでは無く、
比較的ロジカルな作業でしかないです。
あと大概は2名以上が採点して結果をつきあわせますから、ヒューマンエラーはある程度抑制されますし、
これまで採点してきた回答を毎回脳内からリセットして作業するわけではありませんから、
微妙なラインに引っかかった回答は覚えていますよ。
どこかの会社が集めたバイトが採点する場合は、かなりブレが出るでしょうから、
最低3名以上でやってほしいですね。
Re: (スコア:0)
今でも同じ人が違う年の問題を解いても同じ点数にはならんだろ。
点数には誤差が生じるなんて当たり前じゃないの?
学力と点数にどの程度相関があるか調査してからそういうこと言えばいいんじゃないの?
Re: (スコア:0)
逆に同じ回答を複数人が採点して,平均とってみたらどうなんだろうか.
コスト的に無理だろうけども.