ユビキタスの街角

Wednesday, April 01, 2009

論文査読の落とし穴

学会の論文誌や国際会議などで論文を発表するためには査読というプロセスが必要で、 その分野に詳しい複数の査読者に承認された論文だけが出版/発表されるシステムになっている。 学会の質を保つためにこういうシステムが採られているわけであるが、 この方式に起因する問題も存在する。

まず、 査読者が理解できない論文は掲載されない という問題がある。 トンデモ論文が掲載されないのは良いことかもしれないが、 査読者の理解をはるかに越える素晴らしい論文が掲載されないというのは困りものである。

まぁこういうことは滅多に無いのでかまわないのだが、もっと身近なものとして 自明なことを述べた論文は掲載されない という問題があると思われる。 自明なものを論文として発表する意義なんか無いと思うかもしれないが、 「原理が複雑であまり便利でないシステム」の方が論文として 発表されやすくなってしまうのは問題である。 このようなシステムでも、真面目に評価して統計処理などを行なうと論文として格好がつくので、 良い査読結果が得られる可能性が高くなる。 この結果、全然役にたたないシステムが沢山論文として発表されてしまうことになる。 これだけだとまだ良いのだが、 査読で落ちた「原理は自明だが便利なシステム」が再発明され、 別の学会で発表されてしまう可能性があるのはさらに問題である。 この場合、再発明した人物がその手法の発明者として記録され、 最初に発明した人物は埋もれてしまうことになる。

こういう問題を解決するのは簡単で、 論文の発表とその評価を分けてしまえば良い。 論文を書いたらすぐそれをWebにアップし、読者に評価をまかせてしまうわけである。 実際、書籍の場合はこういうシステムが確立している。 お金があればどんな書籍でも作って売ることができるが、 売れ行きや各種の賞といった様々な評価基準も存在する。 論文もこれに近い方法で公開/評価を行なうことにすればいいだろう。

このような方式を採用するのに障害となるのは、 学会や論文誌の権威性 である。 大昔は発表媒体としての論文誌に意義があったかもしれないが、 現在では学会での論文発表は論文の権威づけという意義しか残っておらず、 論文誌の講読者数より投稿者数の方が多いのではないかという説が出るぐらいである。 権威づけ機関としての学会の立場を維持しつつ、 査読にまつわる問題を解決するようなうまい方法が求められているのだろう。

7 Comments:

  • バイオの分野だとPLoS ONEというのが、これに挑戦しています。査読は用いた実験手法が適切かどうかだけをチェックし、結果については論文公表後に、コメント欄でオープンに議論する形式です。
    http://www.plosone.org/static/information.action

    By Blogger Jun, at 3:54 PM  

  • 補足: コロンブスの卵的なアイデアを論文にしにくいことを嘆いているのでした。

    By Blogger 増井, at 7:04 AM  

  • 物理の分野では、投稿中の論文でも arXiv.org で公開できるので、この問題は回避できているようです。

    By Anonymous soda, at 9:34 AM  

  • 日本ソフトウェア科学会「コンピュータソフトウェア」誌の「ソフトウェア論文」カテゴリも宜しくお願いします。:-)

    http://www.jssst.or.jp/prod/software-papers.html

    By Blogger sumii, at 9:53 AM  

  • 追伸:某所で「quickmlのようなソフトウェアは論文になりにくい」という主旨のエントリだとおっしゃっていたので、「ソフトウェア論文」カテゴリを宣伝させていただきました。ご存知でしたらすみません。

    By Blogger sumii, at 10:11 AM  

  • 「ソフトウェア論文」はEmacsみたいな大規模なものに適するのかと思ってました。コロンブスの卵みたいなワンアイデアでも大丈夫なんでしょうかね?

    By Blogger 増井, at 11:45 AM  

  • MinCaml(2000行)でも大丈夫だった:-)ぐらいなので、大規模でないといけないということはないと思います。(編集委員としてではなく)まったくの私的見解ですが、コロンブスの卵的アイディアでも、論文として発表する価値のある(=他人が参照して有用な)内容さえあれば良いのではないかと思います。(もちろん、単に「…を作りました」という「だけ」では「他人が参照して有用」ではないので難しいと思いますが。)何度も長々と失礼しました。

    By Blogger sumii, at 12:20 PM  

Post a Comment

<< Home