检查学术研究中的潜在差异 _学术研究潜在差异

新研究旨在通过比较在同一数据集上测试相同假设的不同研究人员的分析，了解是什么推动了数据分析中的决策，以及学者测试假设的过程。分析家报告了完全不同的分析和分散的经验结果，包括在某些情况下彼此相反方向的显着影响。关于变量操作化的决定解释了除了统计选择(即使用哪种分析或协变量)之外的结果缺乏一致性。

文章插图
“我们的发现说明了分析选择的重要性，以及不同的统计方法如何得出不同的结论， ”Martin Schweinsberg 说。“有时可以以不同的方式调查学术研究问题，即使答案来自相同的数据集并且由分析师提供，而没有任何动机去寻找特定的结果，而这项研究强调了这一点。”
为了进行这项研究， Schweinsberg 教授招募了来自世界各地的一群分析师来测试关于科学家的性别和专业地位对积极参与集体对话的影响的两个假设。研究人员使用在线学术论坛 Edge ，分析了二十多年(1996-2014)科学讨论的小组讨论数据。该数据集包含来自 728 个贡献者的超过 300 万个单词和 150 个与对话、其贡献者或成绩单的文本级别相关的变量。然后，使用由合著者 Michael Feldman、Nicola Staub 和 Abraham Bernstein 开发的新平台 DataExplained ，研究人员分析了 R 中的数据，以确定科学家的性别或专业地位与其详细程度之间是否存在联系。
分析师使用了不同的样本量、统计方法和协变量，导致了与假设相关的几个不同的结果。因此，这导致了来自不同分析师的各种但站得住脚的调查结果。尽管数据和假设相同，但通过使用 DataExplained ， Schweinsberg 教授及其同事能够准确了解这些分析选择的不同之处。对分析师使用的 R 代码的定性研究揭示了数据分析背后的心理学过程模型。
Schweinsberg 教授说，他们的“研究说明了透明和开放的科学实践的好处。主观分析选择是不可避免的，我们应该接受它们，因为各种分析背景和方法的集合可以揭示经验主张的真正一致性。”
【检查学术研究中的潜在差异】这项研究表明，主观研究人员的决定在影响报告的实证结果方面发挥着关键作用。研究人员表示，这些发现强调了开放数据的重要性，即公开数据、学术研究中的系统稳健性检查，以及在采用和未采用的分析路径方面尽可能透明，以确保研究与可能的。他们还建议在交流研究结果时要谦虚，在将其应用于组织决策时要谨慎。