57.−2005.11.01「医学論文の多くはウソ！」＆「査読システム」

多くの科学論文の結論は後に否定されている
Peer Review -A high percentage of medical studies are found to be invalid-（著者：Bette Hileman）という記事が米国化学会のChemical and Engineering News (C&EN) 2005年9月19日号に出ており（http://pubs.acs.org/subscribe/journals/cen/83/i38/toc/toc_i38.html → Insights［会員以外は有料］）、Tufts University School of MedicineのJohn P. A. Ioannidis特任教授の２つの報文が紹介されている。
一つは”Why most published research findings are false”という題名のEssayで（PlosMedicine, 2005, 2, e124（http://medicine.plosjournals.org/perlserv/?request=get-document&doi=10.1371/journal.pmed.0020124［Open accessの雑誌］））、科学論文での報告内容が実際にはウソだということがいかに起こりやすいかについて論じたもの。
もう一つは実証的論文で、一流の医学雑誌に1990〜2003年に掲載され、引用回数が1000回以上の論文を選び出し、これらと同じ問題を扱った論文を参照し、最初の結論の検証状況について調べたもの（Contradicted and initially stronger effects in highly cited clinical research, JAMA 294, 218 (http://jama.ama-assn.org/content/vol294/issue2/index.dtl［会員以外は有料］)）。調査対象に上った49件の論文のうち、45件がある処置が有効（positive）との結果で、4件が有効でない（negative）の結果。positiveの45件の論文についてその後の論文では、
・７件（16%）否定された。
・７件（16%）最初の論文は過剰評価だった。
・２０件（44%）結論が再確認された。
・１１件（24%）同じことを検証した論文が見つからない。
ということで、実に３分の１の論文の結論について、より大規模や、より精密な調査検討では問題があったということである。
　後日、否定されることが多いオリジナル論文は、サンプルサイズが小さい場合、効果が小さい場合、調査された効果の種類が多い場合、ランダムな研究設計になっていない場合などが多いということである。特に、現在のマイクロアレーを用いた遺伝子プロセスを利用した研究では、数千の関係性が一度に試験されるので、無意味な関係を統計的に有意と判定してしまうことは簡単に起こり得る。こうなると、一つの研究の結果で判断するのは危険で、異なるグループによる複数の結果が一致して、はじめて関係性が議論できるということだろう。
　これは医学だけに止まらない問題である。科学論文の結論だかからと鵜呑みにするのではなく、不確実性があることを十分認識しなければならないわけで、特に科学報道に際しては、発信者も受信者も留意する必要がある。

査読システムもブログになる？
さて、このC&ENの記事はもう一つの論点を述べている。それは、このようなウソの論文が現在の査読システムを簡単にすり抜けて掲載されているという事実である。
実際、査読基準が明確でない、査読プロセスが公開でない、さらに、査読者の力量もまちまちである、というような多くの問題を現在の査読システムは抱えている。（私の経験であるが、近年Elsevierが導入したWEBによる査読システムでは、少なくとも、著者、編集者、査読者の間では、各査読者のレビュー提出から編集者による判定までの情報が共有される点で、これまでより公開性が高まり、査読者自身も自分の査読報告について再評価できる機会を得る点で一歩前進と感じた。しかし、クローズなシステムであることに変わりはない。）
C&ENの記事では一つの新しい提案をしている。すなわち、現在の査読システムをやめ、すべての論文をWEBに掲載し、読んだ人が次々にレビュー・コメントを書き込む。それらの書き込みに対して、著者が論文を更新するというものである。このような広範な読者によるレビューが継続的に行われることで、それぞれの論文の評価が固まっていくというわけである。
　これって、まさに最近流行のブログ（Blog）ですね。