「統計的有意」に弊害

「統計的有意」には弊害があるとして800人以上の科学者が反対を表明 - GIGAZINE
https://gigazine.net/news/20190322-scientists-against-statistical-significance/
2019年03月22日 20時00分 サイエンス

「有意かどうか」が研究結果の結論を左右するようになり、「研究が発表されるかどうか」や「実験が助成金を受けられるかどうか」などまで支配するようになっているとのこと。

アメリカ統計学協会事務局長ロン・ワッサースタイン氏は

「実験結果を改ざんして、P値を自分の望む数値に近づける研究者や、実験に意義がある場合でも有意ではないために実験結果を公表しない研究者もいる」

と述べています。

一般の人々と同様に、科学者も「統計的に有意であれば結果は真である」と信じがちです。
ノースウェスタン大学のブレイク・マクシェーン氏は

「実験の状況により、実験結果がガラッと変わり得ることはあり得りえます。『真』か『真でない』のかの2択ではなく、もっと曖昧な結論、例えば健康に害があるかもしれない食べ物を食べるならば、『有害か』『無害か』ではなく、『健康に対するリスクはどれくらいだろう』ということを考えることが大切です」

とコメントしています。

---

Scientists rise up against statistical significance
Valentin Amrhein, Sander Greenland, Blake McShane and more than 800 signatories call for an end to hyped claims and the dismissal of possibly crucial effects.
Nature , 20 MARCH 2019
https://www.nature.com/articles/d41586-019-00857-9

講演会（セミナー）で演者が

there was ‘no difference’ between two groups because the difference was ‘statistically non-significant’?　；　”差が統計学的有意差がないため2群間は差が無い”

と言うのを聞いたのは最近はいつ？おそらく直近の講演会での出来事ではないか？

研究者たちは、”統計学的に有意でない”とは、”「帰無仮説」(グループ間で差が無い、あるいは、治療により特定の測定アウトカムへ影響がない)と言い続けている。また、”統計学的に有意でない”という結果は、他の仮説を証明しているわけでもない。かような誤解は、（多く知られているが）記載を大幅に歪ませ、誇張表現をもたらし、（余り知られてないが）”研究が存在しないところで主張の衝突をそもたらすなどmisconceptionからの餌食にならない工夫が必要

researchers have been warned that a statistically non-significant result does not ‘prove’ the null hypothesis (the hypothesis that there is no difference between groups or no effect of a treatment on some measured outcome).  Nor do statistically significant results ‘prove’ some other hypothesis. Such misconceptions have famously warped the literature with overstated claims and, less famously, led to claims of conflicts between studies where none exists.

ということで・・・まずは、「P値」が0.05などの閾値より大きい、あるいは、信頼区間に”ゼロ”が含まれているという理由だけで"no difference"、"no association"という結論記載を止める事


ある特定の暴露があるリスクをリスク比で 1.2となった。一つの研究では有意差有り、もう一つの研究では有意差なしという報告。後者で「関連性なし」と報告することの問題点は明らかで、しかもこれにより議論・軋轢を生じることがままある




2016年に、American Statistical Associationがステートメントを公表。統計学的有意さとP値使用に関する警告

P値記載の25年間推移　2016

"統計学的有意”という概念を完全放棄すべきという・・・

---

では、どうしたらよいの？


結果を「統計学的に有意」と「統計学的に非有意」とまとめるとことはせず、ベイズ因子のような他の統計学的値による評価の開発を進め、2分割的評価を止める事を筆者は勧めている

e.g. )ベイズ・ファクター
https://to-kei.net/bayes/bayes-test-4/

---

Number Needed to Treat　2019