うますぎる話となってる新規知見にはいんちきが多い

　著明な"effect size"を示す新発見報告って、追試やメタアナリシスで、尻すぼみになることが大多数


非常に目立つ“effect size”を示す研究報告は、一般には、サンプル数が少なく、そして、追試ではその"effect size"減少となることが多い。さらに、メタアナリシスとなると、ほとんどが、"effect size"は減少する。

臨床トライアルや報告で、"画期的新発見"だと、騒ぐほど、その"effect size"は正しいのか、騒ぐほどの効果があるのか？追試だけではまだ駄目で、やはり、メタアナリシスまで待つのが正しいのだろう。

ただ、その間に、年数は経過するが・・・　一報だけで判断してはならないというのは直感的にも正しいのだろう。

 Empirical Evaluation of Very Large Treatment Effects of Medical Interventions
Tiago V. Pereira, et. al.
JAMA. 2012;308(16):1676-1684. doi:10.1001/jama.2012.13444

【概要】多くの医学的介入の影響、"effect size"は、一般的には軽度のことがほとんどだが、時に、ベネフィット・有害性ともに"effect size"がかなり大きい報告が見受けられる

【方法】Cochrane Database of Systematic Reviews (CDSR, 2010, issue 7)を用いた検討

バイナリアウトカムのCDSR forest plotで、介入毎に分類
初回トライアル出版報告、初回以降トライアル報告、すなわち、追試トライアル報告(初回報告でないもの)、トライアル無しで、統計学的有意差に、すなわち、名目上 P<0 .05=".05" br="br" effect="effect" large="large" odds="odds" ratio="ratio" significant="significant" very="very">
【結果】250のトピックスを、各群毎、ランダムにサンプルし、詳細検討

85002のforst plot(3082名のレビューアによる)中で検討

初回出版トライアル報告で、"significant very large effect"のものは、8239 (9.7%) 、追試トライアル報告では5158 (6.1%)、トライアルなしでは 71 605 (84.2%)

名目上の" significant very large effect"は小規模トライアルが多い
・イベント数中央値は、初回出版トライアル報告にて 18、追試トライアル報告では 15

" very large effect"のトピックスでは、
・他のトピックスに比べ、死亡率を着眼としたトピックスは少ない (初回出版トライアル報告 3.6%、 追試トライアル報告 3.2%、 トライアル無し  11.6%)
・検査室確認有効性に着眼した場合が多い(初回トライアル報告 10%、追試トライアル報告 8%、トライアル無し 3.2%)

"  very large effect "の初回トライアル報告記事は、追試トライアル報告の" no very large effect "となる傾向がある。

初回報告・追試報告トライアルで、それぞれ、90%と98%が、メタアナリシスで、他のトライアルを含むと小さくなる。
・ 減少オッズ比中央値は、初回報告で 11.88→4.20 、追試報告 10.02→2.62

" very large-effect "トライアルの選択されたトピックス500のうち、メタアナリシスにてこの" very large-effect "を維持したトピックスは 46(9.2%、 初回、追試トライアル)である。しかし、死亡率関連アウトカムに関しては維持されたトピックスは存在しない。

すべてのCDSR横断的に検討の場合、死亡率においても" large-effect "で、 p<.001で、エビデンスの質に関して問題点が無かったのは、わずか1つの介入のみ。