大学受験共通テスト、国語の記述式問題の再現実験で公平な判定は難しいとの結果に 76
ストーリー by headless
実験 部門より
実験 部門より
hylom曰く、
英語の民間試験導入が延期された「大学入学共通テスト」だが、国語の記述式問題についても客観的な採点が難しいとの声が出ている(TOKYO Webの記事、 NHKニュースの記事)。
高校生グループが自己採点の再現実験を実施したところ、公平な採点や自己採点は難しいという結果が得られたそうだ。実験はインターネットを通じて参加が呼びかけられ、高校生815人、中学生20人、大人610人の合計1,445人が参加した。内容は共通テストの試行調査で使われた問題を使い、3つの答案例を採点するというもの。結果は採点者によって大きくばらつき、正答の条件で示された語句を直接含まない答案では「判定不能」が25%を占めたとのこと。
そりゃそう (スコア:3, すばらしい洞察)
自己採点って、「文章Aと文章Bは同じ事を言っているかどうかを答えよ」という超難問を正しく解けるやつにしかできないんだもん。
偏差値60越えてるような層は知らないけど、それ未満だと、「○○について文章中にどう書かれているか答えよ」に対して「私の考えでは」「私が経験したところでは」とか解答するようなやつだらけだぜ。そんな大外しで○が貰えるかも、とか考えるやつらが、「模範解答例あれこれ」と「自分の書いた文章」がどれだけ一致しているか？なんて正しく判定できるはずがない。自己採点したら、見当外れの解答でも、「これぐらいなら合ってるじゃね？」ってなんでも○にするに決まってる。
センター試験みたいに「文章中にどう書かれているか、次の4つから選べ」と出題して、模範解答で「お前が『これじゃね？』って選んだ選択肢は見当外れでしたー、残念！」って現実を突きつけてやった方がよっぽど良い。
Re:そりゃそう (スコア:3, 興味深い)
これと同じで、社会人でも議事録取れない人が多くて困ってます。
発言を文章に落としたり、要約する段階で意味を変えてしまう人が多い。
論理的に文章を読む訓練ができてないと、これができない。
センター試験の国語は論理的に読む訓練ができてたら簡単に満点が取れるし、これまで進学校や予備校の上位クラスではそういう教え方してたはず。
結構いい訓練になるので、センター試験の国語は無くしてほしくないなぁ。
あれだろ (スコア:3, すばらしい洞察)
女文字だと採点が甘くなって、男の汚い字だととりあえず読むのも面倒だから０点
Re: (スコア:0, 荒らし)
残念ながらジャップランドは先進国ではかなりまれなレベルで上位の大学入学者は男性がかなり多い社会ですよ。
つい最近も某医学部でそれが問題になったろ、もう忘れたの。
Re:あれだろ (スコア:2)
これってこれから始まる制度なんだよね～
ちゃんと覚えようね
Re: (スコア:0)
つまり、男の汚い字だと読むのがめんどくさくなって採点が甘くなって、読みやすい女文字だと採点が厳しくなるって事ですね。
わかります。
採点AIの開発待ったなし (スコア:2)
とか思ったけど、すぐに解析されて「カラオケ採点マシン対応歌唱法」みたいのが出てきて、学力と無縁な不毛ないたちごっこに陥りそう。
Re:採点AIの開発待ったなし (スコア:1)
そもそもセンターテストの時点でそうなってまっせ。
Re: (スコア:0)
そこは30年以上前に清水義範が到達している！
もう入り口は仕方ないから (スコア:1)
まともに卒論書いた奴だけを輩出してくれ。
Re: (スコア:0)
入り口でフィルタリングすると企業がその結果だけで満足して
青田買いしてしまうから大学の存在価値がなくなるよね
Re:もう入り口は仕方ないから (スコア:1)
適性や実務能力より学歴を優先する昭和的アホ企業の崩壊が加速するだけだから、それはそれで良いかもしれない。
青田買いしたら卒業できなくて人員不足、とか。
Re: (スコア:0)
全くだな。卒論もできてない(どころかはじめてもいない場合もある)のに内定決まるのがおかしいと思わんのかね。
Re: (スコア:0)
おかしいとは思うけど、卒業したら即、新卒一括採用ってのを止めないと無理かと。
採用する側も1社だけ止めることはできないし、外資メーカーだって日本に来たら新卒一括採用してる。
無限定雇用、簡単に解雇できない、新卒一括採用ってのは相互依存があるので、全部同時に変えないと難しい。
限定雇用+解雇できるって組み合わせは中途採用では双方メリットあると思うんだけど、広がらない理由は良く分からん。
Re: (スコア:0)
内定決まってたけど卒論が書けずに半年入社が遅れた後輩がいたなぁ・・
Re: (スコア:0)
3か月くらいの仮入学期間を設け
時分割で2～5倍の定員を受け入れ選別する方式はどうかのう
Re:もう入り口は仕方ないから (スコア:1)
Re:もう入り口は仕方ないから (スコア:1)
大学の利益あげるんなら、簡単に入学できて一定水準を超えないと絶対に卒業できないのがいいと思うんだけどなぜやらないのか。
分かり切っていることだけどね (スコア:1)
1人で採点していても、記述式に対する採点のブレは必ずある。
微妙な表現の差で点差を付けてしまうと、似たような記述が出てきたときに何点にすれば良いか分からなくなる。
それを避けるためには、記述による回答であっても、正解と確実に思える回答以外はすべて×にする。
でも、複数人での採点だと、それさえも難しい。
でもね、本当の学力を知ろうと思えば、筆記式を採用するか、面接をするしかないんですよ。公平性を犠牲にしないとダメですが。
もう、面倒くさいから、大学なんて入りたいところに入らせてやれば良いじゃない。
で、進級が難しいとか、研究室に入るための面接が大変とかにして、自然淘汰する方向にしておきましょう。
東大の教授ですら、欲しい人材が入ってこないと嘆いているんだから。
（研究馬鹿みたいなのを欲しがるから、現行制度では無理ですとは言っておいた。）
Re:分かり切っていることだけどね (スコア:1)
筆記式なら本当の学力が測れるなんてのが幻想だろ。
数時間のテストで分かることなんてたかが知れてるよ。
ペーパーテストの本当の目的は学力の測定じゃなくて受験希望者に勉強させること。
Re:分かり切っていることだけどね (スコア:1)
完全に幻想でも困る。
受験希望者に勉強させるためには、テストで学力がだいたい分かるという状況を確立しておかなければならない。
Re: (スコア:0)
だから実際には2次試験では複数人で(同じ問題を)採点してるだろ。
よって難しくない。
本当の学力が筆記と面接で分かるなんてとんでもない勘違いだと思うが、
現状は2次試験で筆記、就活で面接してるから本当の学力とやらが知れているらしい()
結局、現行システムの方がマシということでないかな。 (スコア:1)
ソースの無い精神論でトップダウンで始まった政策なんで、アラが多いんだよね。
一生に一度の問題がこんな風に乱暴に決められているのがわかってきた意味で、今の高校生は政治への参加意識を高めるんじゃないかな。
よく練られた暗記前提の選択問題の何がいけないのか (スコア:0)
教科書と過去問だけやれば大学に入れるシステムで機会の平等を確保されて
教育を受けた人が今の政府高官だろ? 待てよ、だから良くないのか
Re:よく練られた暗記前提の選択問題の何がいけないのか (スコア:1)
二次試験も受けてるだろ？
一次はざっくりとふるいにかけるもの, 入学資格を問う問題は二次試験としてそれぞれの大学で課せというシステムで何がいけないんだろう。一次ですべて見極める必要なんてないとおもうけど。
Re:よく練られた暗記前提の選択問題の何がいけないのか (スコア:1)
「高大接続改革」あたりから調べてみればいいのでは。大学入試でどんな問題が出るかが高校で行われる教育を左右しちゃうから、大学、高校の教育とその間の大学入試を一体で考えるというのが出発点。
現行のセンター試験でも二次試験をやらずにセンター試験の成績だけで入試をやっている学部があるぐらいで、「一次試験はざっくりふるいにかけるもの」という発想が、すでに理念からはずれてんのよ。
最終的に実現したいのはバカロレアみたいなものでしょ。理念としては誰も反対していなくて、実施が不可能とも言えない。だから、今までその方針でやってきたけど、現状を見るとまともに実行できそうにないということが明らかになっているので問題になっているということ。最初から理念に反しているという話なら、最初に話が出た時点で否定されて終わるはず。そうならなかったってことは、そんな単純な話ではないことを意味しているわけ。
Re: (スコア:0)
だって記述式二次試験の回答例を公表すると、突っ込みが多いのが嫌なんだもん。
Re: (スコア:0)
ぜんぶ面接試験にすれば証拠残らないのに
Re: (スコア:0)
面接試験の採点基準なんてどう言い繕っても三代遡った世帯年収の平均なのに
何故か落ちる奴ほど妙な幻想を抱いてるよな
Re:よく練られた暗記前提の選択問題の何がいけないのか (スコア:1)
なんでも「ソース」を求めりゃいいってもんじゃない。
本気だったら、理解力が足りてないんでは。
言葉遣いと立ち居振舞いには育ちが出る、ってだけの話やろ。
Re: (スコア:0)
宦官試験やんけ
二次試験は？ (スコア:0)
いまでも二次試験とか普通に記述式だよね？
一問一答で知識を問う以外全部アウトになりそうなんだけど…
Re:二次試験は？ (スコア:3, 興味深い)
少数の採点者がよくよく協議して比較的少人数分を採点してるから二次試験はまだまし。
同じ大学内でも、複数学部を併願できない仕組みのとこなら、X学部を受けたAさんと、Y学部を受けたBさんが全く同じ解答を書いたのに点数が違う、と言うことすらセーフとされる。合否判定とかでAさんとBさんの点数が直接比較されることはないから。X学部受験生内、Y学部受験生内で公平性が保ててれば十分。
というか、記述式の試験を公平に採点する、となると、そうやって分けでしないと、すりあわせのみコストが大きくなりすぎて無理。全国統一テストでの厳密な摺り合わせは無理なので、新テストでは5段階評価で採点とかいう緩いルールになってる。
あと、現行のセンター試験もそうだけど、採点結果が何故か知らされない仕組みになってる。なので受験生は、自分のセンター試験が上手く行ったかどうかを自己採点で確認して、二次試験に出願する大学を選ぶ。
マークシートならよほどのミスをしない限り正確に自己採点できるけど、記述式だと、「センターむっちゃ解けた！」と勘違いして身の丈に合わないところに出願して事故るやつがでてくる。
現状でもどれかの科目で科目選択をマーク間違えて0点になってるのに気付かず事故、みたいなのは起こってるだろうから、採点結果を通知した方が良いと思うんだけどね。
Re: (スコア:0)
出願時に申し込んでおけば、成績通知はされますよ。
通知書が届くのは、4月になってからだけど。
Re: (スコア:0)
意味無ぇｗｗｗ
Re:二次試験は？ (スコア:3, 興味深い)
センター試験、成績照会より行政文書開示請求の方が早くて安い
https://srad.jp/story/16/01/12/1821224/ [srad.jp]
https://www.facebook.com/dnobori/posts/897538743656099/ [facebook.com]
>登 大遊
>2016年1月10日
>センター試験のマークシートの原本を、個人情報開示制度を活用して開示させた上、
>答案部分について、「個人情報が間違っている」として、答案の書き換えを請求した事例を発見した。
-以下略-
Re: (スコア:0)
＞ X学部を受けたAさんと、Y学部を受けたBさんが全く同じ解答を書いたのに点数が違う、と言うことすらセーフとされる
ほんとコレ。
全国ひっくるめて一意な序列をつけなきゃならん統一テストと、
各学科ごとのレベルで合否判定するだけのテストとでは、
試験の内容も必要とされる精度も異なってくる。
極端に点数が高かったり低かったりして合否ラインに乗らない受験生なんて、
正確な点数を出す必要さえない。
また、たとえばTOEICみたい試験なのだと、
「全国ひっくるめて」の部分は同じでも、序列を付けるわけじゃなくて
「このくらいのスキルはありますよ」程度のことしか担保してくれない。
TOEIC700点と800点ならおそらく800点の人の方が英語力上だけど、730点と
740点なら誤差みたいなもんだ。だけどこれじゃあ統一テストには使えない。
Re:二次試験は？ (スコア:2, すばらしい洞察)
二次試験は少数の採点者が採点基準をすりあわせながらしてるけど，
50万人が受ける大学入学共通テストは1万人が採点するから無理。
Re:二次試験は？ (スコア:1)
二次試験は大学教授が採点するでしょ
Re:二次試験は？ (スコア:1)
どこの大学？
まあ自分も全ての国立大学法人のことを知っているわけでは無いので、あなたの言うような大学もあるのかもしれないけど、教授、准教授レベルの人が責任を持って採点する大学しかしらない。
ちなみに専門家の主観が入らないように、専門性が無い他学部の教授が採点をする、例えば工学部の教授がマニュアルに従って地歴の採点をする等が当たり前のことと心得ているけどね。
Re: (スコア:0)
さすがにそれは問題だろ。
どこの大学だよ。
そういえば大学生(学部生)による進研ゼミの添削アルバイトは昔からあったけど、あれも学生と言ってはいけなかったよね。
Re: (スコア:0)
> さすがにそれは問題だろ。
> どこの大学だよ。
twitterでの大学の先生の発言見てる限りだと、先生のみが採点してるっぽいですよね。
だいたい学生バイトが採点なんてやったら、浪人してる友達の採点で手心を加えるとかも
可能になるわけで、常識のある大学では、ありえない話じゃないかな。
もしホントにやってる大学があったとしたら、大学の名前をぜひチクってほしい。
ACでやれば問題ないでしょ。
Re: (スコア:0)
そりゃすごい大学だな
実名出してOKなので是非公開してくれw
関係者なんだろ？よく知ってるよな？
Re:二次試験は？ (スコア:1)
ラーメン大学くらいならあり。
採点者が一人だけでも公平な採点は恐らく不可能 (スコア:0)
一度採点した答案と同じものをもう一つ混ぜておいて、時間差で同一人に採点させても多分点数が同じにはならないだろう。
記述式の試験の採点に使えるAIが完成するまでは記述式の問題を公平に採点するなんてのは実現不可能よ。
点数には誤差が生じるということを前提にした合否判定の仕組みを作ったほうが早いんじゃないかな。
Re:採点者が一人だけでも公平な採点は恐らく不可能 (スコア:2, 興味深い)
実際にやってみると判りますが、そうでもないですよ。
大学入試程度の試験答案を複数回採点した経験がありますが、ほぼブレはありませんでした。
異なる結果になるのは初回の採点にミスがあった場合だけだと思います。
件数が少ないと無意識に記憶してしまうということもあるかもしれませんが、100件弱〜1000件程度の経験の範囲では大丈夫なように思います。
正確に言えば、ブレないための基準を設けて判断するようにしないと件数の多い採点はできません。
得点を積算する基準を決めておいて、それに照し合せながら判断できるようにしないと普通の人間には無理な作業だと思います。
私には経験がありませんが、小論文的なものの評価でも同じことが言えそうです。
むしろ「記述式」よりも小論文の方が厳格な基準を定めながらの採点をするはずです。
複数人で採点するなら実際に基準のもとになるものをルーブリック形式等で準備くらいするでしょう。
AIと呼ばれるものが使えるようになれば、もっと柔軟な基準を設けて実際の答案データで学習させながら、結果が収束するまで採点を繰り返すとかができるのかもしれませんね。
Re:採点者が一人だけでも公平な採点は恐らく不可能 (スコア:1)
前提に依りますね。
現在の2次試験であれば、一応問題作成が出来るレベルの教授陣が採点してるんで、
実際やってみれば分かるけどそんなブレブレにはならんですよ。
誤字や難読字をどの程度解釈するかみたいな部分で多少誤差は生じるかもしれないが、
根本となる採点基準に合致するかどうかの判断を延々繰り返すだけなので、
たぶんあなたがふんわり想像してるような、感性や感覚でなんとなく点数をつけているのでは無く、
比較的ロジカルな作業でしかないです。
あと大概は2名以上が採点して結果をつきあわせますから、ヒューマンエラーはある程度抑制されますし、
これまで採点してきた回答を毎回脳内からリセットして作業するわけではありませんから、
微妙なラインに引っかかった回答は覚えていますよ。
どこかの会社が集めたバイトが採点する場合は、かなりブレが出るでしょうから、
最低3名以上でやってほしいですね。
Re: (スコア:0)
今でも同じ人が違う年の問題を解いても同じ点数にはならんだろ。
点数には誤差が生じるなんて当たり前じゃないの？
学力と点数にどの程度相関があるか調査してからそういうこと言えばいいんじゃないの？
Re: (スコア:0)
逆に同じ回答を複数人が採点して，平均とってみたらどうなんだろうか．
コスト的に無理だろうけども．
「hylom曰く」 (スコア:0)
このタレコミ文なら「国語の記述式問題についても客観的な採点」が可能なのではないか。やればできる子なんだなhylom。
# 添削先生がどれだけ修正したか不明