為什么多數(shù)研究者喜歡看高影響力或知名人士的文章?究其原因有兩個(gè)字非常重要:可靠!當(dāng)我們拿到一篇文章時(shí),多數(shù)人都會質(zhì)疑:這工作靠譜嗎?我如果借鑒能夠信任文中的研究結(jié)論嗎?
好的工作是巨人的肩膀,后來者在其基礎(chǔ)上才能看的更遠(yuǎn)。不準(zhǔn)確有誤導(dǎo)性的工作簡直是巨坑,讓人白瞎時(shí)間和氣力,忍不住罵娘!
2011年,全球心理學(xué)領(lǐng)域的270資深學(xué)者發(fā)起了“重做計(jì)劃”,抽取該領(lǐng)域100項(xiàng)研究成果進(jìn)行重做。結(jié)果顯示可重復(fù)率僅為36%,這意味大部分已發(fā)表研究成果是重復(fù)不出來的。這一計(jì)劃隨后拓展到了其他多個(gè)領(lǐng)域。以癌癥研究為例,研究者們選擇了53項(xiàng)重要研究成果,但其中只有6項(xiàng)可重復(fù),重復(fù)率僅為11.3%。
現(xiàn)在越來越多的人擔(dān)心當(dāng)前發(fā)表的大多數(shù)研究結(jié)果都是不靠譜的。在15年前,John Ioannidis曾在PLOS Medicine雜志上發(fā)表了一篇代表性文章對該問題進(jìn)行了深入討論[1]。作者認(rèn)為造成多數(shù)研究成果不可信的原因是實(shí)驗(yàn)者趨向于選擇有利樣本?;谀嫦蛩季S,選擇樣本時(shí)人為干預(yù)過于嚴(yán)重,造成巨大的反向偏差。
以“多喝水能減肥”的結(jié)論為例,假如實(shí)驗(yàn)者要選擇100個(gè)胖子作為樣本,而挑選樣本時(shí),從自己認(rèn)為的結(jié)論逆向出發(fā),故意挑選了30個(gè)有明顯減肥趨勢的人。所有樣本中每人每天比一般人多喝1L水,然后1個(gè)月后得出結(jié)論,其中有30%的人多喝水有明顯減肥趨勢。而真實(shí)情況是,這些人體重下降跟是否多喝水可能沒有半毛錢關(guān)系!
在上述過程中,實(shí)驗(yàn)者對實(shí)驗(yàn)結(jié)果進(jìn)行了操縱,造成了巨大的反向偏差,展示給他人的是斷章取義或歪曲事實(shí)的結(jié)論。文中作者根據(jù)計(jì)算公式得出結(jié)論:隨著偏差增加,研究結(jié)論趨向正確的概率將大大減小(表)。真實(shí)研究有時(shí)會由于這種反向偏差而廢止,但由于利益作祟,研究者傾向于“掩蓋”真實(shí),將這種反向偏差與偶然性相混淆,這將不能反映實(shí)驗(yàn)結(jié)論的真實(shí)情況。
表:存在偏差時(shí)的研究結(jié)論和真實(shí)結(jié)論的關(guān)系。
我們怎樣才能改善這種情況?
1、提供更有力的證據(jù):如大規(guī)模研究和偏差分析。
2、多個(gè)團(tuán)隊(duì)和證據(jù)類型可以減少單一團(tuán)隊(duì)的誤導(dǎo)性和偏差。
3、不單純以統(tǒng)計(jì)學(xué)的R值作為評判標(biāo)準(zhǔn),注重對實(shí)驗(yàn)中真實(shí)關(guān)系本身的理解。
4、加大考慮范圍,在相近領(lǐng)域中求得驗(yàn)證。
以電池領(lǐng)域?yàn)槔?,靈魂發(fā)問一下:除硬件原因外
1、文章中所給出的電池?cái)?shù)據(jù)確定具有代表性嗎?是否進(jìn)行了多批次重做以保證可重復(fù)性?
2、選擇數(shù)據(jù)時(shí),是否是在所有電池中選擇一個(gè)數(shù)據(jù)最好的向?qū)徃迦苏故荆?/p>
3、同一批次,不同電池的容量,循環(huán)性能,倍率性能誤差有多大?
4、電池跑長循環(huán),是否用超過量的電解液來掩蓋劇烈的副反應(yīng)?
5、實(shí)驗(yàn)室級別每次合成的活性材料較少,多次合成時(shí)能否保證每批材料都相同?
6、所用的電池材料如電解液,是否清楚地知道其成分組成,是否有添加劑成分?
7、對比不同材料時(shí)所采用的工藝能否保證一致?例如,烘烤極片時(shí)是否有的烘烤8小時(shí),有的烘烤9小時(shí),有的烘烤10小時(shí),有的甚至都不知道幾個(gè)小時(shí)?
……
相信每個(gè)領(lǐng)域都有一些被大家忽視的關(guān)鍵問題,歡迎在底部留言,以讓更多的后來者看到,避開巨坑,做更可靠的研究!
誘然皆生,而不知其所以生。同焉皆得,而不知其所以得。我們可能永遠(yuǎn)也無法知道這個(gè)世界的本質(zhì),但請遵循客觀規(guī)律,保證相對真實(shí)。
【參考文獻(xiàn)】
[1] John P. A. Ioannidis. Why Most Published Research Findings Are False. PLoS Med 2(8): e124.