為何要學習開放透明的研究操作

陳紹慶

學習動機談

  • (教師) 個人認同的研究規範(Norm)符合開放透明的程度？如何更新個人及團隊的研究操作？

  • (研究生) 已經了解什麼樣的規範觀念？如何落實開放透明的研究操作在即將進行的學論文計畫？

  • (高年級大學生) 已經了解什麼樣的規範觀念？ 如何經由想要前進的專業進路培養開放透明的研究操作？

  • (新鮮人大學生) 了解什麼是研究規範？如何培養獨立批判思考；透過寫作培養批判思考的方法；如何從學術報告寫作培養基本的開放科明研究操作？

可重製危機(Reproducibility crisis)

  • 再現(Replication)與重製(Reproducibility)

NAS白皮書(2019)的定義

重製 = 任何人員使用同批資料、處理程序、分析程式碼獲得一致的分析結果。也稱運算可重製(computational reproducibility)

再現 = 致力回答同一個研究問題的各方研究人員，各自獲得的資料呈現一致的結果。結果的一致程度代表可再現程度。

為何是危機？

不認為是危機的明顯後果

  • 後續研究無法重現已發表的研究結果。

  • 研究者無法彼此溝通理論假設與研究結果。

輕忽重製危機的影響

  • 領域知識立基於未充分辨識的偽陽與偽陰結果

  • 統計運用者缺乏深度思考統計顯著與理論關鍵的區別

  • 追求陽性結果的不良動機及生態條件佔據優勢

  • 學生失去學習獨立批判思考的場域

  • 學科發展會累積偏誤/偏見前進。

  • 難以發現造假及蓄意編造的研究結果。

本系列工作坊選用資源

  • 理解危機的必讀教材

Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge University Press.

  • 化危機為轉機的工程

PsyTeachR by the University of Glasgow School of Psychology and Neuroscience

中文教學紀錄：可重製統計示範系列; 可重製統計上課錄影

歡迎各位的貢獻

真實的社會規範違反科學社群的期望

Merton (1942, 1973) 提出四個健全的科學知識社群賴依發展的社會規範。下表節錄自Charlotte Pennington的網路演說。

Mertonian Norms Reality so far
普遍(Universlism)
Evaluate research on own merit		 特殊(Particularism)
Evaluate research by reputation
共有(Communality)
Open Sharing		 私有(Secrecy)
Closed
無私利(Disinterestedness)
Motiviated by knowledge and discovery		 寡佔(Self-interestedness)
Treat science as a competition
組織化批判(Organized Skepticism)
Update belief based on new evidence		 組織化教條(Organized Dogmatism)
Invest in promoting one’s own work

開放透明的研究操作

  • 開放研究資料及程序素材(Open data and materials)

  • 預先註冊研究程序(Pre-registrated study design)

  • 公開同儕評審(Open peer review)

參考文獻

Merton, R. K. (1942). A note on science and democracy. Journal of Legal and Political Sociology, 1, 115–126.

Merton, Robert K. (1973). The normative structure of science. In Robert King Merton & N. W. Storer (Eds.), The sociology of science: Theoretical and empirical investigations (pp. 267–278). University of Chicago Press. https://contentstore.cla.co.uk//secure/link?id=e34b4c41-4e36-e711-80c9-005056af4099