2011/07/18

ソーシャルな評価と誤魔化しの防止

Why I will never pursue cheating again - A Computer Scientist in a Business School

大学のレポート課題で、webやら過去問の回答やらからのコピペにどう対応すべきか、という話。

最近は提出されたレポートをデータベースと照合して剽窃っぽいものを見つけてくれるソフトが あるけれど、それをかけたら出るわ出るわ。 結局、2割の学生が最終的に剽窃を認めることになったんだけど、 それを認めるまでの言い訳を聞いたりするのは大いなる時間の無駄。 微妙に課題用テンプレートを変えたりして「コピペしたらわかるよ」と周知しておいても、 明らかにバレるようなコピペをしてくる学生は後を絶たない。 厳しく取り締まっても学生による教員評価が下がるだけでいいことなし。

で、コピペしたいという動機の方を何とかできないか、と考えた。 個々に課題を完成させて教員に評価を仰ぐ形では、教員の目さえごまかせれば切り抜けられると 思ってしまう。課題の結果を公表させて相互に評価させる形にしたら、 剽窃バレは恥と認識されて、むしろみんなの良い評価を得るために オリジナリティを出す創造的な方向に情熱が向いたよ、ということだそうだ。

リサーチじゃなくて単なる体験談なので、本当にこれが有効な剽窃防止策になり得るのか という議論は弱いけど (結果が広く公表される世界でも剽窃は必ずしも無くならないし)、 オープンにすることと、相互評価を入れるってことは、まあ効きそうな気がする。

学生時代、プログラミングのコースのTAでレポートの採点をやってて、 ずいぶんコピペにお目にかかったけど、

• 最初から全員公開リポジトリで開発させる
• ちゃんとクレジットすれば他人のコードの一部をコピーして良い
• 評価は単一の尺度ではなく、オリジナリティ、性能、実装の工夫など いろんな尺度について相互評価も含めて行う

などとしておけば良かったかも。 公開リポジトリなら(裏で非コミットのコードをやりとりしない限り)誰が 誰のをコピーしたかわかるし、むしろちゃんとクレジットした上で コードを共有することは奨励されるべきだからなあ。

★ ★ ★

評価する人間の立場が増えれば増えるほど、 そして評価方法が成果に対して即時的、直接的であればあるほど、 誤魔化しが起こりにくくなる、という一般化はできるだろうか。 例えばPaul Grahamは仕事の成果を測るのに、何段階ものindirectionがある大企業よりも、 ユーザから直接の評価を受けるベンチャーの方がずっと正確だ、なんてことを言ってる。 大企業での採用は、その採否が良かったのかどうかを長期的に評価するのが難しい。 だから、採用の時だけ誤魔化せばいいという考えが起き得る。 Y Combinatorに参加したら、3ヶ月後には百戦錬磨の投資家の前でデモが認められないと ならない。そこに誤魔化しの入る余地はほとんど無い。

大学入試は、試験の点数を成果とすれば評価方法は即時的だけど、評価する人間の立場は少ない。 (立場というか、尺度と言った方がいいかなあ)。 政治家は、評価する人間は多いけれど、評価機会が数年に一度なので、個々の成果に対する 即時的なフィードバックが無い。 どちらも、誤魔化しの入る余地が大きい。

…とか。これがどのくらい一般的に適用できるかはわからんけども。 大勢に評価される環境であっても、一時の流行によって評価尺度が偏ることは 排除できないしなあ。

Tag: Career