一項新的研究表明，科學記者經常依賴範圍狹窄的因素來評估研究報告，從而使公眾誤入歧途。
措措阿布羅赫-2022 年 7 月 29 日

科學新聞是公眾了解科學研究結果和社會影響的主要方式之一。這包括在線期刊，如 Mad in America、印刷和電視新聞、廣播、播客和許多其他形式。因此，科學記者向公眾提供的信息中的任何偏見都會對公眾認為真實的內容產生嚴重後果。

在一項新的研究中，Julia Bottesini、Christie Aschwanden、Mijke Rhemtulla 和 Simine Vazire 探討了定量研究的哪些特徵會影響記者報導它們的可能性，以及該研究是值得信賴的信念。作者強調了科學“看門狗”的重要性——在可用信息和公眾對真相的理解之間的看門人。他們建議同行評審員是“內部監督者”，而科學記者同樣是必要的“外部監督者”。他們寫：

“他們是主要的外部監督機構，可以監控科學家和科學機構的問題做法，並提出可疑的主張，而不必擔心會損害他們的職業前景……然而，要讓科學記者發揮這一重要作用，他們需要有機會接觸，並且在決定是否信任研究結果以及是否以及如何報告時知道如何使用相關信息。”

科學新聞批評史

Bottesini 及其同事寫道，早期的科學寫作傾向於以極其積極的方式構建科學過程、其準確性及其影響。然而，在 1960 年代和 70 年代，越來越多的觀點、批評和承認科學過程和“進步”造成的危害逐漸增加。作者沒有明確說明這些不同觀點的來源，但 1960 年代和 70 年代是女性、少數族裔和低收入美國白人獲得高等教育和科學領域的機會。

儘管研究的表現變得更加平衡，但記者和科學家仍然有理由在 1990 年代批評記者與他們提出的科學家的聯繫過於緊密。例如，約翰·克魯德森（John Crewdson）將記者稱為科學界的“活潑啦啦隊”。他在 1993 年的一篇文章中直截了當地指出，“科學作者在未經充分檢查的情況下接受研究報告，是對公眾的傷害”。本研究的作者認為：

“科學記者現在有更多機會成為優秀的科學監督者，他們可以通過批判的眼光幫助公眾消費科學研究，並吸引公眾對更嚴格的研究的關注。擁有更多具有批判性的科學記者，讓更知情的公眾能夠獲得更細緻入微的科學信息是一項社會效益。”

以下是作者建議的批評的好處之一：

• 如果沒有上下文、警告和有關其局限性的信息，科學可能會失去可信度
• 如果科學記者錯誤地暗示所有發現都是完全且同樣有效的，那麼基於背景的結果中不可避免的細微差別和差異將削弱公眾對科學的信任。
• 準確的新聞有助於確保更好的科學得到更多關注，從而為從事同樣嚴謹和周到工作的科學家帶來更多的社會和經濟回報。
• 它有助於讓科學家保持誠實。科學家是有偏見的人，他們受到研究資金的激勵來誇大成就。知道工作將在傳遞給公眾時受到審查，這會激勵研究人員在他們的主張中更加準確。

目前的研究

Bottesini、Aschwanden、Rhemtulla 和 Vazire 的研究探討了影響科學記者對研究的報導和批評的因素，以及記者如何確定研究是否值得信賴或具有新聞價值。使用虛構行為心理學研究的 1 段描述，他們在每個研究小插曲中操縱了四個變量，原因如下（作者明確分享）：

1. 研究的樣本量：樣本量越大，估計可能越精確
2. 研究樣本的代表性會影響研究對其他人群的普遍性。如果該研究缺少在現實世界中更具代表性的整個人群，則沒有證據表明該研究結果將適用於被排除在外的人群。因此，優秀的科學記者應該支持樣本更能代表相應現實世界人口的研究。
3. 與發現相關的 p 值：接近 0 的 p 值表明研究結果更有可能是現象的真實發現，而不是數據中的噪聲。這表明優秀的科學記者應該支持 p 值較低的研究。
4. 進行這項研究的研究人員的機構聲望：基於這樣一種理論，即記者可能有偏見，並發現與精英機構相關的未知科學家更有可能是可信的

從研究中使用的 16 個小插曲中，向真正的記者展示了 8 個隨機選擇的小插曲。然後要求記者對每項研究的可信度（4 個問題）和新聞價值（2 個問題）進行評分。接下來是三個開放式問題（他們通常如何評估研究結果，他們如何評估本研究中提供的信息，以及他們是否猜測了研究人員試圖測試的虛構研究的哪些特徵）。當向 150-200 名參與者展示 8 個小插曲時，功效分析顯示出足夠的功效來檢測實際效果，可在此處找到這些小插曲的示例：https ://osf.io/xej8k 。

鑑於作者關於研究樣本對其可信度的重要性的論點，他們對自己樣本及其代表性的報告令人驚訝地缺乏。他們的 181 名科學記者的最終樣本主要是女性（76.8%；19.3% 男性，2.8% 非二進制，1.1% 不願透露）。儘管作者沒有報告這一點，但與科學記者的一般人群相比，女性的比例略高。記者代表了各種學科（生命科學、健康與醫學、普通科學、心理科學、心理學、社會科學、生活方式與福祉等）和媒體（主要是在線新聞和印刷新聞）。

我們可以有把握地假設記者主要是白人。儘管如此，研究人員沒有提供有關他們樣本的種族或民族的信息，這與美國心理學會制定的基本標準相反。鑑於有色人種在心理學和其他社會科學領域的代表性明顯不足和持續把關，這是一個巨大的疏忽。

白人和亞洲人在科學寫作中的比例過高。相比之下，與普通公眾相比，黑人、拉丁裔、西南亞和北非 (SWANA) 人的代表性不足（根據 2021 年的估計和科學作家組織會員數據與美國人口普查相結合）。了解記者可能代表的民族文化觀點對於解釋以下調查結果至關重要。

結果和缺失的背景

樣本量是表面上影響記者對可信度和新聞價值評級的唯一變量。研究人員發現，樣本的代表性、大學的聲望和調查結果的統計 p 值對記者對虛構研究的信任或重播它們的價值幾乎沒有影響。無論樣本的代表性如何，虛假研究都聲稱該研究適用於一般人群。這意味著記者應該發現樣本代表性較低的研究在他們的主張中不太可信。

該表直接取自他們的文章，並顯示了對研究人員測試的四個因素中的每一個的三個開放式問題中的每一個的回答百分比：

表 1. 在回答三個開放式問題（在參與者對八個虛構的小插曲進行評分後回答）中確定四個操縱變量中的每一個的科學記者參與者的百分比。

受試者普遍同意，更好的樣本量、樣本代表性和 p 值可以提高研究的有效性和新聞價值，但不能提高大學聲望。然而，當被問及他們對每個因素的熟悉程度時，人們也不太熟悉將機構隸屬關係作為可信度或新聞價值的衡量標準。

作者還對三個開放式問題中的每一個問題都進行了“對參與者提出的主題的主觀、非系統的探索”——當時有多種行之有效的系統方法來分析定性數據。

一般來說，記者通常考慮的研究特徵包括出版期刊的聲望和其他研究人員的評論。他們權衡了這些小插曲的特徵，包括研究設計或方法，以及研究結果和聲明的合理性或相關性。記者認為研究人員正在評估的主題包括研究設計和基於姓氏的虛構研究人員的種族認知。

Bottesini、Aschwanden、Rhemtulla 和 Vazire 聲稱已經分析了研究人員在小插曲中隱含的種族是否在評級中發揮了作用。然而，他們歸於有色人種的所有姓氏都來自亞洲、拉丁和 SWANA，完全排除了非洲和非裔美國人的姓氏。

此外，作者斷言像卡特這樣的姓氏（可能還有戴維斯和劉易斯）“不太可能被視為非白人或西班牙裔”。然而，由於奴隸販子對他們在 300 年跨大西洋奴隸貿易中從非洲綁架的人的命名習慣，許多非裔美國人目前擁有這些姓氏。因此，意識到這一點的記者可能會認為這些名字屬於黑人研究人員。這突出了另一種方式，即關於記者本身的種族人口統計信息對於解釋這些結果至關重要。

帶走什麼

總的來說，人們應該輕視這項研究的結果，應該做更多的研究來驗證這些結果在多大程度上適用於一般的科學記者。Bottesini 及其同事提出了一個很好的案例，說明科學記者的標準對於公眾所認為的“真相”的重要性。然而，缺乏對種族人口統計數據的報導存在重大缺陷，主要是在作者的網絡中招募記者，並且不承認社會科學中可用的嚴格定性方法的廣度。例如，作者有時會說實驗研究被認為比“觀察性”或“相關性”研究更可信。此外，記者既沒有測試也沒有提到幾種定性觀察方法。

作者得出的結論是，記者更喜歡樣本量大於 500 的研究、實驗研究而不是相關研究、更有聲望的期刊以及具有統計學意義的 p 值。該樣本中的記者通常會優先考慮在 0.05 水平上顯著的 p 值，而不會優先考慮 p 值接近 0 的研究。這表明，許多像本研究中的記者這樣的記者可能沒有統計專業知識，或者可能沒有充分利用他們的知識來評估研究的有效性。

然而，Bottesini 及其同事認識到，他們的結果可能部分反映了記者認為他們應該用來評估研究的東西，而不是他們實際使用的東西。因此，他們建議對記者如何評估研究進行更多的定性和觀察性研究，以增加所研究概念與記者實際行為的相關性。這包括關於如何教授記者評估研究的研究。

Bottesini 及其同事對提高樣本代表性的“多言少動”表示遺憾。他們認為缺乏行動的部分原因可能是缺乏後果。

“基於對研究人員聲稱正在研究的人群（例如，“大學本科生”）非常不具代表性的樣本的研究結果與樣本和人群更相似的研究結果（例如， ，“來自全國樣本的人”）。鑑於招募更具代表性的樣本通常需要額外的努力，如果後果微不足道，至少就媒體曝光和記者的批評而言，那麼這可能有助於維持現狀。”

這些發現強調了對科學記者標准進行研究的必要性，但也犯了一些與作者所說的相同的錯誤。嚴謹的科學需要報告和了解我們的樣本如何與現實世界的人口統計數據以及所研究的特定人群（在本例中為記者）的人口統計數據相關聯。成為“好監督者”並向公眾傳達真相不僅需要統計理解和情境化解釋，還需要了解歷史如何影響認知並報告所有相關的人口統計信息。

文章來源:
https://www.madinamerica.com/2022/07/science-journalists-choose-studies-report/

措措阿布羅赫Tsotso Ablorh 是馬薩諸塞大學波士頓分校臨床心理學博士生。她主要研究根據邊緣化人群的經驗和需求改進與文化相關的治療方法；包括培訓治療師、減少治療師文化偏見和評估治療師培訓有效性的方法。