Island Life

< 学生諸君。もしくはLisp/Scheme... | SLIBを3a1にしたらGnucashが... >

2005/04/14

めちゃおもろい。自動生成した論文がacceptされた話 : SCIgen - An Automatic CS Paper Generator

Tag: Hack

Past comment(s)

ytaki (2005/04/14 23:13:20):

``which exist only to make money''てあたりがキツいですね(^^;). randomly-generated talk も聞いてみたいところ. でもこれ,slashdot.org とかに出ちゃいましたよねえ. 開催側にも知られて急遽発表取り消されたりして.

shiro (2005/04/14 23:29:17):

上記ページに追記されてます。主催者も気づいたみたい (レビュアーの一人と、それ以外からも問い合わせがあったようです)。 主催者からの言い訳めいたレターも公開されています。 取り消されちゃうかもしれませんね。

shiro (2005/04/15 17:48:39):

さらに追記があって、結局rejectされちゃったみたい。 払い込んだ参加費も払い戻されたそうで。 こちらに、 この主催者を調べた経緯が出てます。

ytaki (2005/04/16 08:56:38):

代わりに発表するため,今回の conference で 論文が accept された人を募集してますね(^^;).さすがに今度は知られない ようにするみたいですが,さて.

cut-sea (2005/04/19 03:36:13):

/.Jにも出たようですが、私はふーんって感じ。
だって論文て、その内容が真理(うーむ曖昧)かどうかでacceptされるかrejectされるか が決まるわけじゃなくて(そんなもん無理だし、だからこそ論文ネタになるんだし)、 論理(というか筋道・理屈)がちゃんと通っているかどうかだからなぁと。
自動生成した論文は読んでないけど、その辺さえスジが通ってて、 あとは既出でなければ受理されるものじゃないのって思ってたもんねぇ。
だから嘘のでっちあげ実験結果であってもacceptされるものもあるでしょう。 追試やる研究者とかでて来て嘘がバレて確信犯でやったのが分かれば、 次から一切相手にされなくなるだけかな。

shiro :

いやいやいやいや、この話の面白さは、論文を読んでこそなんです。 人工無能のチャットログを読むみたいな不条理さがいいんですよ。 それ抜きにあれこれ論評してもあまり楽しめないと思います。/.Jではいつもどおり 元のページを読まずにあれこれ言う書き込みが多いみたいですが。 (そもそもソーカルのやつだって、「パロディがacceptされた」事実よりも 内容にポイントがあるって本人が言ってなかったっけ)。

cut-sea (2005/04/19 04:33:42):

あ、不条理なんだ。(^^;それはシツレー致しました。
しかし、...読むのか俺の論文 「A Deployment of Voice-over-IP」だそうです。 ...........abstract見た時点で思ったのですが、 これって逆にかなり英語力ないとワケ分からないんじゃ...(-,-;;;;

ytaki (2005/04/19 09:13:13):

/.J はチョイスされるネタがどうにも扇動的というか…. それはともかく,これはつまりアレですよ,大真面目な体裁で嘘八百並べるエイプリル フールサイトみたいなものというか(彼らがウケを狙ったかどうかはこの際置いとく). もっとも僕の場合は,今回の件聞いてすぐ ELIZA を連想しちゃってたんですが (ヒネリなさすぎ).

cut-sea (2005/04/20 21:00:18):

全くrandomというわけでもさなげ。 何回も何回も論文を生成してざっと見るってのを繰り返すとグラフタイトルにせよ、 セクションタイトルにせよ似たようなのを作ってくる。
まぁそれはさておき、論文誌はこういったスパムとでもいうべきシロモノを 今後どうしていくか考えねばならないのか? だれかがIpv7なんて言葉が入っててずっと分かりやすいとかおっしゃってたが、 そう簡単でもないんだよね。 現Ipv6になんらかの設計上の欠陥を発見して(それが正しいかどうかは別)、 そしてIpv7なるものを考えて発表するってことがありうるからだ。
つまり論文は常に現状の知識なんかを覆す可能性のあるものだから、 単純に単語見ただけでrejectするというわけにもいかないように思う。
まさに不条理であることを確認せにゃならんのだ。 一方、論文の査読なんて同じ分野の研究者でもなきゃできないし、 特に査読者ってのはその分野の先端いってる人だったりするからそんなものに 貴重な頭脳の貴重な時間を取らせるのは大きな損失だ。 自動生成でガンガンやられたら簡単に時間を食いつぶされそうだ。 さあ、どうする?

shiro :

私はそんなに心配してないです。確かに、査読コメントを まともに書こうと思うとじっくり読まなければなりませんが、「明らかに 通らなさそうな論文」というのはアブストとイントロと結論をざっと読めば 大抵わかりますし、そこであまりにひどければ査読コメントだって力を抜くでしょう。 (今回の論文なんて、1分でjokeとわかるものです。) 本当に時間が取られるのは、ちゃんと問題を把握していることが 伺われて、それなりの結果も得られてて、でも書き方がobscureで論理が追い難い、 というような論文です。ボーダーライン上のものですね。 自動生成論文がそこまで行くかどうかというと、どうかなあ。 最悪の事態として、ものすごく大量の投稿があるようになったら、 学会の方だって下読み部隊を使って足切りするようになるんじゃないかと 思いますよ。

cut-sea (2005/04/21 01:01:39):

私はボーダーライン上の論文はあまり考えてなくて、 まさに大量に送られてきたらどうなるだろうと思ってました。 まっとうな論文がスパムの海に埋もれたらどうなるだろう、 人間対計算機だとあまりに分が悪すぎるかなと。 スパムメールと違ってやる目的がないですかね。

ytaki (2005/04/24 12:29:12):

大量に送られてきた場合,困るのは査読する人というよりは,誰に査読を依頼するか といったことをさばくとりまとめ担当者(事務局とか)かもしれませんね(^^;). ただ,今回の件はどちらかというと,全体の投稿数が少ないゆえに,(大会を実施する ため)ろくに査読もせず大半を通している印象が.だからこそ CFP なメールが spam の ようにバラまかれているんじゃないかなと.僕も仕事の関係上,規模が小さい論文誌の 査読とかを何度かやってるだけに,この観点ではあんまし笑えない….

cut-sea (2005/04/24 16:59:49):

あ、そうか。最初に振分ける人が要るんだ。で、こういうstoryを考える。

  1. スパム論文をさばくのが大変になる
  2. 当然えらい先生なんかにやらせるのは無駄だから手頃な人を確保することに決定
  3. ある程度人海戦術だが、誰でも良いわけでない
  4. 多少高額なバイトとして研究室の学生などが人力フィルタを担当
  5. 雇ってもらいたい学生が自らどんどんspamる
  6. 自分のspamは簡単なんで、がんがんフィルタリングしてウハウハ
  7. (不毛な)市場が出来あがる(TヮT)

あー、対ウィルス関係のソフトとか作ってる会社に対して、 いつもこういうこと想像しちゃう私はホント失礼だなぁ。

ytaki (2005/04/26 18:08:36):

もしかすると引用元だったかもしれませんが(^^;), 『Matzにっき』で Graham 氏の言葉を引用しながら今回の件を取り上げてますね.いやあ,心当たりありすぎ(汗).