預估重製研究效果量的合適模式Part 1

你認為那種資訊能獲得最充分的效果量估計值？

• 根據報告的統計數值(t,F,效果量指標,各變項平均值…)
• 根據測量單位的估計值(參與者平均值,項目平均值…)
• 根據原始觀察值(參與者各項目反應紀錄…)

2010年之前

Ellis (2010)彙整社會科學各領域研究報告達到的考驗力。

以效果量低中高標計算檢定結果的平均事後考驗力。

2010年之後

Schäfer and Schwarz (2019) 彙整2017~2018各心理科學領域研究報告效果量。
效果量依研報告次數佔比分級，無預先註冊的心理學研究傾向高估效果量。

預估重製研究效果量的合適模式Part 2

• 根據報告的統計數值(t,F,效果量指標,各變項平均值…)
• 根據測量單位的估計值(參與者平均值,項目平均值…)
• 根據原始觀察值(參與者各項目反應紀錄…)

案例一：Hoeben Mannaert et al. (2021) 物件色彩的心智模擬

案例一主要效果量重製分析

案例一重製成本評估

設定\(\alpha = .05\)的相依樣本雙尾檢定比較，根據已知效果量預估值，評估各種樣本量能達到的考驗力。

案例一原始研究公開資料

• 預先註冊計畫與實驗材料：Exp 1 & 2, Exp 3

• 全部實驗平均反應值資料

評論案例一資料公開程度

• 有各實驗預先註冊計畫
• 有實驗刺激句、圖像檔案列表
• 公開資料有參與者各條件平均反應時間及正確率

• 公開資料無參與者各試驗反應資料
• 公開資料無資料編碼薄

• 公開資料是寬表單格式(wide table)，無法直接驗證研究品質。

案例二：(Kerwer et al., 2021) 簡易效應(Easiness effect)

“一般讀者閱讀淺顯易懂的(學術論文)白話摘要之後，傾向高估文本資訊的可信度（Credibility），膨脹判讀資訊真實性的信心（Confidence to evaluate），以及高估個人專業判斷能力（Ability to make decision）等三種感受。”(張祥偉等, 投稿中)

• Credibility = 信賴感
• Confidence to evaluate = 真實感
• Ability to make decision = 專業感

案例二原始與重製結果

重製研究專案介紹

重製研究的考驗力分析

• 相對於學術摘要的考驗力曲線

信賴感

• 相對於學術摘要的考驗力曲線

真實感

• 相對於學術摘要的考驗力曲線

專業感

• 下載考驗力分析報告

案例二原始研究公開資料

• 預先註冊計畫與實驗問卷及資料公開庫

• 原始反應資料

• 原始反應資料編碼薄

• 分析R程式碼

評論案例二資料公開程度

• 有各實驗預先註冊計畫
• 實驗刺激來自公開資訊(原始論文)
• 公開資料有參與者各試驗反應資料
• 公開資料有資料編碼薄
• 公開資料分析程式碼

預估重製研究效果量的合適模式Part 3

• 根據報告的統計數值(t,F,效果量指標,各變項平均值…)
• 根據測量單位的估計值(參與者平均值,項目平均值…)
• 根據原始觀察值(參與者各項目反應紀錄…)

註冊

• 點選Datawiz首頁右上角[Login]
• 點選Register here!，註冊”Leibniz Psychology account”
• 回覆確認信成功，以”Leibniz Psychology account”登入。

示範資料

下載Hoeben Mannaert et al. (2021)長表單資料。

示範步驟

• 請參考示範直播。
• Resource description: CREDIT貢獻者角色分類譜, FAIR科學研究資料公正使用原則。