[EBM] 當統計不顯著時，我該計算研究的檢力嗎？Misleading post-hoc power

看文獻、做研究時，碰上不顯著，總想起統計老師的話「不顯著代表不能拒絕虛無假說，不代表兩者相同」。我們又學過，發現兩者差異的能力稱為檢定力 (Power)，那是不是計算資料的 Power，如果這「發現差異的能力」大於80%，卻仍然有不顯著的結果，就代表這兩組資料真的很相近呢？

以前是那麼相信的，但越算越覺得奇怪

直到自己多算了幾次，發現 Power 其實和 P-value 是非常掛鉤的。Power 與 P-value 都是受到樣本數、標準差、平均差的影響。當兩組的平均差很近、P-value >0.05時，表示兩組資料的分佈重疊部分很高，用這樣的結果來計算 Power ，當然會獲得一個很低的 Power。

（進一步澄清，這個實驗做完才計算的 Power 稱為 Post-hoc power，是今天要討論的主題。而我們在計算需收樣的樣本數時的，則直接稱為 Power，是很重要且有需有的步驟。）

Post-hoc power 其實受到 P-value 的影響

我開始看更多文章，發現原來 Post-hoc power的計算，就受到了P-value的影響（畢竟他們都是用同樣的樣本數、標準差、平均差來做計算），當 P-value >0.5，我們計算 Post-hoc power 希望達到 0.8 時，其實要 P-value 小於0.0065才能達到，這可不是自相矛盾嗎！

那我們不計算 Post-hoc power，還可以怎麼做呢？

第一個，我們可以計算 Partially post-hoc power，這是這篇文章提出來的方法。當然這名字很奇怪，怎麼會有個 partially post-hoc 的東西呢？他提到的是，我們用來計算 Power 的平均差，應該要用 Minimal clinically important difference (MCID, 最小臨床有意義差距) 來代替，這樣可以脫離與P-value的掛勾。解釋時就會從「我們有 post-hoc power % 的信心，去發現這兩組有達到顯著差異」，變成「我們有 post-hoc power % 的信心，去發現這兩組有達到 MCID 的顯著差異」。

第二個，我們可以看結果的信賴區間 (Confidence interval) 搭配「有意義的最小差距」(MCID)。以身高來說，有意義的 MCID 當作是 5公分。這時如果想知道兩班的身高差距，我們得到身高差距的95%信賴區間是 [-2cm, 3cm]，那我們可以判斷有包含到 0，所以這是個不顯著的結果，且信賴區間的範圍沒有包含到 +5cm , -5cm，表示就算有差距也到有意義的程度。而如果我們得到的是 [-10cm, 20cm]，那不只是不顯著，還表示差距從矮十公分，到多二十公分都有可能，這時我們就不太敢說兩組沒有差距了。

第三個，我們可以用貝氏定理 (Bayesian model)，這在臨床研究上較少見，判讀起來大家也較不熟悉。統計分成兩種大類，第一類是傳統的統計，也就是看分佈來計算可能性，我們平常用的 t-test、ANOVA 等都是屬於這一類。第二類是貝氏定理，會先主觀地給出一個可能的機率、數值 (prior)，然後在我們收案後，去計算可能的機率變成多少。這是相對於傳統統計的一大類別，個人瞭解也不夠深入，有興趣的再請自行 Google 吧～

三種替代方案，使用哪個方法好呢？

依據找到的方法學論文，Partially post-hoc power他認為仍然是基於Post-hoc power的計算，所以還是會受到收到的資料影響；Confidence interval 搭配 MCID 則很好判讀、很通用，是個好選項；Bayesian model 應該是最好表達實際狀況的方法，但是多數人不熟悉。

這樣看來，最實用的就會是Confidence interval的判讀了。而這其實也跟 2022 年 09 月 Cochrane GRADE guideline 最新提出，對不準確 (imprecision) 的判讀方法相吻合，在這個項目，GRADE不看 p value，而是看 95% 信賴區間是否包含到MCID的上下限來做判斷，有興趣可以看這個新發表的影片。

Ref:

陳柏威醫師 Po-Wei Chen, MD

搜尋此網誌