上海
轉載聲明：除調整格式外，不得對原文做改寫、改編。原創不易，謝謝！E-mail:yellow@aliyun.com
?聲明：本文為原創文本，非生成式，轉載請注明出處！
商務咨詢/顧問/請@yellowscholar?作者：黃先生斜杠青年
#實用主義 #經濟方法
“有兩件事你最好別看正在發生的事：香腸和計量經濟學的估計。這是我們所處的一種令人悲哀且明顯不科學的狀況。幾乎沒人認真對待數據分析。或者更準確地說，幾乎沒人認真對待別人的數據分析。”
這正是經濟學家埃德·利默在他1983年著名文章《讓我們從計量經濟學中剔除騙局》中對實證研究提出的尖銳批評。當時，他的意思是研究人員知道不要太信任其他研究者的估計，因為他們對研究過程中的任意選擇非常敏感。但自利默批評以來的幾十年里，受過教育的公眾往往認真對待同行評審的研究。
這種情況開始改變，是因為醫生約翰·伊奧安尼迪斯2005年發表了熱門文章《為什么大多數已發表的研究結果都是錯誤的》。2010年代的“復制危機”迅速引發關注，社交媒體的興起也助長了這一擔憂。心理學首先受到沖擊，最嚴重，始于2011年發表的文章《假陽性心理學》。但經濟學和其他社會科學也未能幸免。
科學的核心前提是研究應當是可復制的。如果一位科學家設計了一個測量物理常數（如光速）的實驗，并且他們對實驗的記錄足夠充分，其他科學家也應該能夠進行同樣的實驗并得到相同的結果。如果一個實驗室的結果無法在其他地方復制，那么就像冷聚變一樣，它們很可能不是真實的。
除了物理等硬科學，我們不期望獲得同樣的精度。也許一項試驗發現某種藥物減少了17%的心臟病發作，而另一項則發現了14%。但要讓研究有效地指導我們的行動，研究至少需要具備一定的可復制性。如果有一次試驗發現某種藥物有效，但后續的每一次試驗都發現沒有效果，那么人們大概就不應該服用該藥物。
社會科學研究花了幾十年時間產出相當于炒作一種最終證明無用或有害藥物的研究。2015年，由布萊恩·諾塞克領導的團隊嘗試復制發表在頂級心理學期刊上的100項實驗，結果不到一半的實驗顯示出統計學上顯著的發現。同年發布的美聯儲討論文件也發現，已發表的經濟學論文表現同樣糟糕。
如果頂級期刊發表的同行評審研究都不可信，那我們還能信任什么？自2015年以來，一些流行的答案是“什么都沒有”，或者是常識和意識形態基礎的先驗信念的混合。但在復制危機之后進行的科學改革，或許終于開始以可復制、可信賴的研究形式結出成果。
漂亮國均方是眾多依賴社會科學研究指導決策的機構之一。當復制危機引發對這項研究的質疑時，他們決定采取行動。以資助互聯網和自動駕駛汽車等硬技術突破而聞名的國房高級項目研究局（ADA）為布萊恩·諾塞克和開放科學中心提供了資金，進行社會科學領域的大規模復制研究。其目的是測試這項研究的可靠性，以及在哪些研究類型中是否存在任何可信度的共性。
這項工作的結果剛剛發表在《自然》雜志的特刊上。來自社會科學領域的數百名研究者（其中之一）試圖復制發表在頂級社會科學期刊上的數百項論文。總體來說，我們發現情況從糟糕的開始有所改善。例如，大多數論文并未分享據稱產生結果的數據或代碼，但它們比2009年研究期開始時更有可能分享。
我是斜杠青年，一個PE背景的雜食性學者！?致力于剖析如何解決我們這個時代的重大問題！?使用數據和研究來解真正有所作為的因素！
圖1： 按發布年份劃分的數據和代碼可用性
來源：自然
經濟學和掙痣學在這方面表現相對不錯，約有一半的文章共享數據或代碼，而教育領域的文章不到十分之一。經濟學同樣具有相對較好的“可重復性”，大多數文章都達到了這一低門檻。可重復性指的是，如果其他研究者以完全相同的方式分析了一篇已發表文章所說使用的完全相同的數據集，他們是否得到了完全相同的結果。經濟學論文中，他們有67%的比例得出完全相同的結果，這一比例高于其他所有研究領域。
圖2：按場的可重復性
來源：自然
我稱之為低門檻，是因為這僅僅意味著最初的研究人員記錄得足夠好，以至于其他人可以復制，而不是說他們發現的內容是正確的（反過來，如果他們沒記錄得足夠好，也不一定意味著他們錯了）。我們怎么知道他們是不是對的？
《自然》期刊的其他論文測試了結果對分析方法調整的敏感度。如果有幾種合理的數據分析方法，最初的研究人員是否偶然（或選擇性地）選擇了唯一能帶來統計顯著結果的方法？還是大多數合理的方法會得出差不多相同的結論？
在這里，大多數論文都可以稱為“方向正確”。在測試其魯棒性的嘗試中，74%的結果與原始結果方向一致，但只有34%發現效應量非常接近原樣本。
當嘗試在新數據集中復現主張時（而不僅僅是用現有數據使用新方法），只有一半人發現了與原始數據相同方向的統計學顯著結果，且發現的效果不到原數據的一半。
總體而言，這表明已發表的社會科學研究通常夸大了效應的規模，并且常常聲稱那些可能不存在的效應。這遠非理想，但依賴研究仍然比偶然好得多。例如，魯棒性測試在與原論文相反方向的顯著效應中僅有2%。
這對研究的消費者意味著什么？信任整篇文獻而非單篇論文一直是個好主意。在經濟學方面，《經濟視角雜志》很好地以相對通俗易懂的方式總結了研究領域。
作為一個受《自然》論文啟發的新經驗法則，“將估計效應量減半”是最好的選擇。如果一篇發表的論文說大學學位能提高工資100%，那么學位很可能確實提高了工資，但更像是40%到50%。2005年，約翰·約安尼迪斯曾表示“大多數已發表的研究結果都是錯誤的”。到了2026年，我們似乎已經改善到“大多數已發表的研究結果都被夸大了”。
了解更多時間深度剖析，盡在于此@黃先生斜杠青年
商業咨詢和顧問業務，請@yellowscholar
關注我，帶你先看到未來！?
轉載聲明：除調整格式外，不得對原文做改寫、改編。原創不易，謝謝！E-mail:yellow@aliyun.com
?聲明：本文為原創文本，非生成式，轉載請注明出處！
商務咨詢/顧問/請@yellowscholar?作者：黃先生斜杠青年
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
