常見陷阱整理

陷阱問題改善方式
只看平均數極端值可能掩蓋多數人的實際狀況。同時看中位數、分位數與分布圖。
把相關當因果忽略選擇偏誤、共同原因與反向因果。設計實驗或使用合理的因果識別方法。
基期效應低基期使成長率看起來特別高。同時呈現絕對值與相對變化。
辛普森悖論整體趨勢可能與各分組趨勢相反。檢查組成比例,必要時做分層或標準化。
小樣本波動少量樣本容易出現看似很大的差異。呈現樣本數與信賴區間,避免過度解讀。
多重比較切太多維度容易偶然找到「顯著」結果。事先定義主要假設,必要時校正多重檢定。
資料口徑變更追蹤、去重或定義改變造成假趨勢。保留版本紀錄,必要時重算歷史資料。
只報好消息忽略負向指標與副作用。同步追蹤護欄指標與不確定性。

分析結論的證據層級

  1. 描述:數據顯示某件事發生了。
  2. 關聯:兩個現象一起變動,或在群組間存在差異。
  3. 機制假設:提出可能解釋,並指出可觀察證據。
  4. 因果證據:透過實驗或可信的準實驗設計,支持某措施造成結果改變。

報告中應明確標示目前結論屬於哪個層級,不要把「可能原因」寫成「已證明原因」。